यदि आप स्थानीय एलएलएम चला रहे हैं, तो एएमए सबसे अच्छे विकल्पों में से एक है
परिचय
मेरे डिस्कॉर्ड चैनल पर हाल ही में की गई टिप्पणी में, जस्टिन ने पूछा कि क्या AMA (एडेप्टिव मॉडल आर्टिफैक्ट्स) का उपयोग करने के बजाय LM स्टूडियो पर लोड किए गए मॉडल का उपयोग करना संभव है। इससे मुझे लगा कि, AMA का उपयोग स्थानीय GPT के साथ क्यों नहीं किया जाए? स्थानीय GPT एक ऐसा प्रोजेक्ट है जो आपको llms (बड़ी भाषा मॉडल) की शक्ति का उपयोग करके अपने स्थानीय डिवाइस या निजी क्लाउड पर अपने दस्तावेज़ों के साथ चैट करने की अनुमति देता है। इस वीडियो में, मैं आपको दिखाऊंगा कि कोड की केवल दो अतिरिक्त पंक्तियों के साथ, स्थानीय GPT के साथ AMA पर चलने वाले मॉडल का उपयोग कैसे करें।
स्थानीय GPT सेट अप करना
पहला कदम स्थानीय GPT सेट करना है। ऐसा करने के लिए, आपको स्थानीय GPT रिपॉजिटरी को क्लोन करना होगा। आप रिपॉजिटरी लिंक को कॉपी करके और Git क्लोन कमांड का उपयोग करके ऐसा कर सकते हैं। एक बार रिपॉजिटरी क्लोन हो जाने के बाद, आपको "conda create -n localGPT python=" कमांड का उपयोग करके स्थानीय GPT के लिए एक वर्चुअल वातावरण बनाना होगा।
दस्तावेज़ तैयार करना
स्थानीय GPT का उपयोग करने के लिए, आपके पास चैट करने के लिए कुछ दस्तावेज़ होने चाहिए। स्थानीय GPT रिपॉजिटरी मूल Ora पेपर के साथ स्रोत दस्तावेज़ फ़ोल्डर में आती है। हालाँकि, आपको अपने स्वयं के दस्तावेज़ प्रदान करने होंगे। अपने दस्तावेज़ों को स्रोत दस्तावेज़ फ़ोल्डर में कॉपी करें। यदि आप MK कंप्यूट से पूर्व-कॉन्फ़िगर की गई वर्चुअल मशीन का उपयोग कर रहे हैं, तो स्वागत दस्तावेज़ आपको अपने दस्तावेज़ों को दूरस्थ वर्चुअल मशीन में ले जाने के तरीके के बारे में मार्गदर्शन करेगा।
वेक्टर स्टोर बनाना
इसके बाद, आपको दस्तावेज़ों के लिए एक वेक्टर स्टोर बनाना होगा। यह स्थानीय GPT रिपॉजिटरी में python स्क्रिप्ट “injest.py” चलाकर किया जा सकता है। यह स्क्रिप्ट फ़ोल्डर में दस्तावेज़ लेती है, खंड बनाती है, एम्बेडिंग की गणना करती है, और उन्हें वेक्टर स्टोर में रखती है। इस चरण के लिए लिया गया समय आपके पास मौजूद फ़ाइलों की संख्या पर निर्भर करता है।
OpenAI लोकल को कॉन्फ़िगर करना
OpenAI Local (olama) का उपयोग करके llm चलाने के लिए, आपको AMA डाउनलोड करके इंस्टॉल करना होगा। OpenAI वेबसाइट पर जाएँ, AMA डाउनलोड करें और अपने ऑपरेटिंग सिस्टम के आधार पर उपयुक्त विकल्प चुनें। दिए गए इंस्टॉलेशन निर्देशों का पालन करें। AMA इंस्टॉल हो जाने के बाद, चलाने के लिए llm मॉडल चुनें। इस उदाहरण में, हम "मिस्टोल" मॉडल का उपयोग करेंगे। मॉडल चलाने के लिए कमांड को कॉपी करें और इसे अपने टर्मिनल में पेस्ट करें। जब आप पहली बार कमांड चलाएँगे, तो यह मॉडल डाउनलोड कर लेगा, इसलिए इसमें कुछ समय लग सकता है। एक बार मॉडल डाउनलोड हो जाने के बाद, यह इंटरैक्ट करने के लिए तैयार हो जाएगा।
स्थानीय GPT के साथ AMA का उपयोग करना
अब जब हमारे पास AMA और स्थानीय GPT दोनों सेट अप हैं, तो हम स्थानीय GPT के साथ AMA का उपयोग कर सकते हैं। स्थानीय GPT रिपॉजिटरी में, “run_localgpt.py” फ़ाइल खोलें। “from lchaim.llms import oLama” लाइन का उपयोग करके “lchaim” लाइब्रेरी से “oLama” पैकेज आयात करें। कृपया ध्यान दें कि इस उदाहरण में उपयोग किया गया lchaim का संस्करण अपेक्षाकृत पुराना है, लेकिन यह वह संस्करण है जो AMA का समर्थन करता है। इस लाइन को फ़ाइल में जोड़ें। इसके बाद, उस लाइन पर जाएँ जहाँ मॉडल लोड किया गया है (लाइन 140) और मौजूदा कोड पर टिप्पणी करें। इसे “lm = oLama(model_name='Mistol')” लाइन से बदलें, जहाँ 'Mistol' आपके द्वारा उपयोग किए जा रहे AMA मॉडल का नाम है। परिवर्तन सहेजें।
AMA के साथ स्थानीय GPT चलाना
सेटअप पूरा होने के बाद, अब आप AMA के साथ स्थानीय GPT चला सकते हैं। टर्मिनल में, स्थानीय GPT निर्देशिका पर जाएँ और “python run_localgpt.py” कमांड चलाएँ। आउटपुट दिखाएगा कि एम्बेडिंग मॉडल लोड हो गया है, लेकिन कॉन्स्टेंट फ़ाइल से llm नहीं, क्योंकि हम AMA से llm चला रहे हैं। अब आप सवाल पूछकर या बातचीत शुरू करके मॉडल के साथ बातचीत कर सकते हैं।
निष्कर्ष
स्थानीय GPT के साथ AMA का उपयोग करने से आप अपने स्थानीय वातावरण में llms की शक्ति का लाभ उठा सकते हैं। कोड की कुछ ही पंक्तियों के साथ, आप अपने स्थानीय GPT फ़्रेमवर्क में AMA मॉडल को एकीकृत कर सकते हैं। स्थानीय GPT एक लचीला फ़्रेमवर्क है जो आपको विभिन्न स्रोतों से विभिन्न घटकों को लाने की अनुमति देता है। इसे आज़माएँ और मुझे बताएँ कि आपको क्या लगता है!
