स्थानीय GPT API का उपयोग करके एकाधिक क्लाइंट को एक सामान्य ज्ञानकोष से बात करने में सक्षम कैसे करें
आज हम देखेंगे कि कैसे कई क्लाइंट को सक्षम किया जाए ताकि वे स्थानीय GPT API का उपयोग करके एक सामान्य ज्ञान आधार से बात कर सकें। स्थानीय GPT मेरा अपना प्रोजेक्ट है जो आपको सुरक्षित वातावरण में स्थानीय रूप से अपने दस्तावेज़ों के साथ चैट करने देता है। GitHub पर इसके 18,000 से ज़्यादा स्टार हैं और आप वास्तव में इसके ऊपर व्यावसायिक अनुप्रयोग बना सकते हैं।
स्थानीय GPT सेट अप करना
सबसे पहले, आइए स्थानीय GPT को सेट अप करने की चरण-दर-चरण प्रक्रिया से गुजरें। यदि यह पहली बार है जब आप स्थानीय GPT देख रहे हैं, तो आपको रेपो को क्लोन करना होगा। लिंक को कॉपी करने के लिए बस GitHub पेज पर हरे बटन पर क्लिक करें। वैकल्पिक रूप से, आप MK Compute द्वारा प्रदान की गई एक पूर्व-कॉन्फ़िगर की गई वर्चुअल मशीन का उपयोग कर सकते हैं। यदि आप वर्चुअल मशीन का उपयोग करना चुनते हैं, तो 50% को बंद करने के लिए कोड "promptengineering" का उपयोग करें।
यदि आप स्थानीय मशीन पर स्थानीय GPT चला रहे हैं, तो अपना टर्मिनल खोलें और उस निर्देशिका को बदलें जहाँ आप क्लोन किए गए रेपो की एक प्रति संग्रहीत करना चाहते हैं। फिर, कॉपी किए गए GitHub रेपो पते का उपयोग करके रेपो को “स्थानीय GPT API” नामक एक नए फ़ोल्डर में क्लोन करें। इसके बाद, “conda create -n localGPT python=3.10” कमांड का उपयोग करके एक नया वर्चुअल वातावरण बनाएँ (अपने वर्चुअल वातावरण के वांछित नाम के साथ “localGPT” को बदलें)। “pip install -r requirements.txt” का उपयोग करके सभी आवश्यकताओं को स्थापित करें।
एक बार सेटअप पूरा हो जाने पर, आप इंजेक्शन भाग पर जाने के लिए तैयार हैं।
दस्तावेज़ों को सम्मिलित करना और ज्ञान आधार बनाना
कई क्लाइंट को एक सामान्य ज्ञान आधार के साथ संवाद करने में सक्षम बनाने के लिए, हमें दस्तावेज़ों को इन्जेक्ट करने और एक वेक्टर स्टोर बनाने की आवश्यकता है। यह पायथन कमांड “python inject.py” का उपयोग करके किया जा सकता है। डिफ़ॉल्ट रूप से, यह डिवाइस प्रकार के लिए CUDA का उपयोग करता है, लेकिन यदि आप इसे Apple सिलिकॉन पर चला रहे हैं, तो आप डिवाइस प्रकार के रूप में MPS प्रदान कर सकते हैं।
इंजेक्शन प्रक्रिया दस्तावेजों को टुकड़ों में विभाजित करती है और उन टुकड़ों के आधार पर वेक्टर एम्बेडिंग बनाती है। वेक्टर एम्बेडिंग को वेक्टर स्टोर में संग्रहीत किया जाता है, जो ज्ञान आधार के रूप में कार्य करता है।
एकाधिक ग्राहकों को सेवा प्रदान करना
अब जबकि हमारे पास नॉलेज बेस सेट अप है, हम API के ज़रिए कई क्लाइंट को सर्विस देना शुरू कर सकते हैं। इस उद्देश्य के लिए लोकल GPT फ्लास्क API सर्वर का उपयोग करता है। लोकल GPT सर्वर एक सरल कतार तंत्र को लागू करता है, जो क्लाइंट को उनके अनुरोधों के क्रम में सर्विस देता है। यदि आपके पास मल्टी-GPU सिस्टम है, तो आप अलग-अलग GPU पर लोकल GPT के अलग-अलग इंस्टेंस को सर्व कर सकते हैं और क्लाइंट अनुरोधों को उनके ज़रिए रूट कर सकते हैं।
API सर्वर शुरू करने के लिए, “python run_local_gpt_api.py” कमांड का उपयोग करें। यह मॉडल लोड करेगा और सेवा देना शुरू कर देगा।
स्थानीय GPT UI का उपयोग करना
लोकल GPT एक उदाहरण UI के साथ आता है जिसका उपयोग आप API सर्वर के साथ बातचीत करने के लिए कर सकते हैं। “लोकल GPT UI” फ़ोल्डर पर जाएँ और “python local_gpt_ui.py” कमांड चलाएँ। यह पोर्ट 5111 पर चलने वाला एक और फ़्लैस्क एप्लिकेशन शुरू करेगा।
आप स्थानीय GPT API के कार्यान्वयन और इसे कॉल करने के तरीके को देखकर अपना खुद का UI बना सकते हैं। दिया गया उदाहरण UI सिर्फ़ एक विकल्प है।
एकाधिक ग्राहकों का अनुकरण करना
एक साथ API तक पहुँचने वाले कई क्लाइंट का अनुकरण करने के लिए, आप UI के कई इंस्टेंस चला सकते हैं या अलग-अलग रिमोट मशीनों से API को बाहरी कॉल कर सकते हैं। वीडियो में दिखाए गए उदाहरण में, UI के तीन अलग-अलग इंस्टेंस चल रहे हैं, जिनमें से प्रत्येक API सर्वर को एक अलग प्रॉम्प्ट दे रहा है।
API सर्वर एक बार में एक प्रॉम्प्ट का जवाब देता है, और उन्हें प्राप्त होने के क्रम में संसाधित करता है। एक बार प्रतिक्रिया उत्पन्न होने के बाद, यह अगले प्रॉम्प्ट पर चला जाता है।
निष्कर्ष
इस ट्यूटोरियल में, हमने सीखा कि स्थानीय GPT API सर्वर का उपयोग करके कई क्लाइंट को एक सामान्य ज्ञान आधार से बात करने में कैसे सक्षम किया जाए। जबकि यह ट्यूटोरियल एक बुनियादी सेटअप प्रदान करता है, कई क्लाइंट को संभालने के अधिक शानदार तरीके हैं, जैसे लोड बैलेंसर जोड़ना और अनुरोधों को कतारबद्ध करना।
यदि आप स्थानीय GPT प्रोजेक्ट में योगदान देने में रुचि रखते हैं, तो GitHub रेपो देखें और Discord समुदाय में शामिल हों। उत्पादों और स्टार्टअप के लिए परामर्श और सलाह सेवाएँ भी उपलब्ध हैं। स्थानीय GPT और इसकी विशेषताओं पर अधिक सामग्री के लिए चैनल की सदस्यता लेना सुनिश्चित करें।
देखने के लिए धन्यवाद, मिलते हैं अगले वीडियो में!
