गूगल बार ने एरिना लीडरबोर्ड पर GP4 को पीछे छोड़ा: एक बड़ा अपग्रेड

Google बार ने एरिना लीडरबोर्ड पर महत्वपूर्ण छलांग लगाई है, GP4 को पीछे छोड़ते हुए दूसरा स्थान प्राप्त किया है। LM CIS संगठन द्वारा बनाए रखा गया एरिना लीडरबोर्ड, LLN मूल्यांकन के लिए एक खुला मंच है, जो ELO रैंकिंग प्रणाली का उपयोग करके LLN को रैंक करने के लिए 200,000 से अधिक मानवीय वरीयताओं को एकत्रित करता है।

गूगल बार की उपलब्धि को लेकर उत्साह

एलएम सीआईएस संगठन ने गूगल बार की उपलब्धि के बारे में ट्वीट किया, और यहां तक कि गूगल ने भी ट्वीट को रीट्वीट किया, जिसमें बार के उपयोग के बारे में उत्साह व्यक्त किया गया। इस आश्चर्यजनक विकास ने सभी को आश्चर्यचकित कर दिया है क्योंकि जेमिनी प्रो, जो अब दूसरे स्थान पर है, पहले लीडरबोर्ड पर आठवें स्थान पर था।

चैट एरेना लीडरबोर्ड को समझना

चैट एरिना लीडरबोर्ड एक क्राउड-सोर्स्ड प्लेटफ़ॉर्म है जो वास्तविक दुनिया के परिदृश्यों में LLNs को बेंचमार्क करता है। हगिंग फेस ओपन LLM लीडरबोर्ड के विपरीत, जो मौजूदा बेंचमार्क पर LLN प्रदर्शन को ट्रैक करता है, चैट एरिना लीडरबोर्ड उपयोगकर्ताओं को 20+ मालिकाना और ओपन-सोर्स बड़े भाषा मॉडल के पूल से यादृच्छिक रूप से चुने गए दो मॉडल प्रस्तुत करता है।

उपयोगकर्ताओं को “मॉडल ए” और “मॉडल बी” दिखाए जाते हैं, बिना यह जाने कि वे कौन से विशिष्ट मॉडल हैं। प्रतिक्रियाएँ बनाने के बाद, उपयोगकर्ता चुन सकते हैं कि उन्हें कौन सी प्रतिक्रिया पसंद है। उदाहरण के लिए, उपयोगकर्ता “बी” चुन सकते हैं यदि उन्हें यह बेहतर लगता है। लीडरबोर्ड फिर चुने गए उत्तर के पीछे के मॉडल को दिखाता है, जैसे “बी जेन 24 (जेमिनी प्रो)” या “जीबीडी4 प्रीव्यू।”

लीडरबोर्ड यूजर फीडबैक के आधार पर विभिन्न मॉडलों के लिए औसत ELO स्कोर को ट्रैक करता है। वर्तमान में, बार विद जेमिनी प्रो 1215 के ELO स्कोर के साथ दूसरे स्थान पर है। हालाँकि, चूँकि यह रैंकिंग मानवीय प्राथमिकताओं पर आधारित है, इसलिए यह पूछे जाने वाले प्रश्नों और प्रश्नों के प्रकार के आधार पर भिन्न हो सकती है।

जेमिनी प्रो के विभिन्न संस्करणों में अंतर

लीडरबोर्ड पर उपलब्ध जेमिनी प्रो के विभिन्न संस्करणों के बारे में भ्रम की स्थिति बनी हुई है। एलएमआईएस समूह तीन अलग-अलग संस्करणों के लिए स्पष्टीकरण प्रदान करता है:

• जेमिनी प्रो: गूगल क्लाउड पर वोर्टेक्स एआई एपीआई
• जेमिनी प्रो डेव: गूगल एआई स्टूडियो पर डेवलपर एपीआई (सीमाओं के साथ निःशुल्क उपलब्ध)
• बार्ड 24 जनवरी जेमिनी प्रो: नवीनतम संस्करण, संभवतः सभी उपयोगकर्ताओं के लिए उपलब्ध नहीं है

गूगल वेबसाइट पर उपलब्ध बार्ड संस्करण 18 दिसंबर, 2023 को अंतिम अपडेट को दर्शाता है। हालाँकि, चैट एरेना लीडरबोर्ड में उपयोग किया जाने वाला संस्करण जनवरी 2024 के संस्करण पर आधारित है, जो दर्शाता है कि यह नवीनतम है।

जेमिनी प्रो की इंटरनेट तक पहुंच

नवीनतम अपडेट में जेमिनी प्रो की सफलता का श्रेय आंशिक रूप से एपीआई के माध्यम से इंटरनेट तक इसकी पहुँच को दिया जा सकता है। जीपी4 टर्बो और अन्य जीपी4 वेरिएंट के विपरीत जो केवल प्रशिक्षण डेटा पर निर्भर करते हैं, जेमिनी प्रो के साथ बार के नए संस्करण में इंटरनेट तक पहुँच है। आयोवा में रिपब्लिकन प्राइमरी के विजेता के बारे में जीपी4 और बार दोनों से पूछकर इसकी पुष्टि की गई।

जबकि GP4 ने कहा कि डोनाल्ड ट्रम्प ने आयोवा में 2020 रिपब्लिकन प्राइमरी जीती, बार ने 14 जनवरी को आयोजित 2024 रिपब्लिकन कॉकस के बारे में अधिक विस्तृत जानकारी प्रदान की। बार ने उम्मीदवारों और उनके संबंधित वोट प्रतिशत को सूचीबद्ध किया, हालांकि परिणामों में थोड़ी विसंगति थी।

यह ध्यान देने योग्य है कि चैटबॉट एरिना लीडरबोर्ड पर मौजूद अन्य मॉडल, जैसे कि पेरप्लेक्सिटी एआई के मॉडल, भी इंटरनेट तक पहुँच रखते हैं। हालाँकि, जेमिनी प्रो के साथ बार का बेहतर प्रदर्शन एक महत्वपूर्ण प्रगति है।

चैटबॉट क्षेत्र पर सत्यापन और तुलना

चैटबॉट एरिना दो मॉडलों को एक साथ चलाने की सुविधा देता है ताकि उनकी प्रतिक्रियाओं की तुलना की जा सके। बार के 24 जनवरी संस्करण और GP4 टर्बो, वर्तमान लीडरबोर्ड लीडर का चयन करके, उपयोगकर्ता उन्हें विभिन्न संकेतों पर परख सकते हैं।

उदाहरण के लिए, जब एक कमरे में तीन हत्यारों से संबंधित पहेली के बारे में पूछा गया, तो GP4 टर्बो ने दो संभावित परिदृश्य प्रस्तुत किए, जबकि बार ने जेमिनी प्रो के साथ जिम्मेदार भाषा के उपयोग और मानव व्यवहार की खोज पर जोर दिया। यह GP4 टर्बो की तुलना में बार के अद्वितीय व्यक्तित्व को दर्शाता है।

यह ध्यान रखना महत्वपूर्ण है कि हालांकि जेमिनी प्रो के साथ बार ने प्रभावशाली प्रदर्शन दिखाया है, लेकिन उपयोगकर्ताओं को सटीकता सुनिश्चित करने के लिए स्वतंत्र रूप से इसकी प्रतिक्रियाओं को सत्यापित और क्रॉस-रेफरेंस करना चाहिए।

गूगल बार का भविष्य

जेमिनी प्रो द्वारा संचालित बार के नवीनतम संस्करण का एकीकरण वर्तमान में चैटबॉट एरिना तक सीमित है और अभी तक बार्ड इंटरफ़ेस या Google AI स्टूडियो के माध्यम से सुलभ जेमिनी प्रो API के भाग के रूप में उपलब्ध नहीं है। हालाँकि, यह विकास इंगित करता है कि Google आगे बढ़ रहा है, और भविष्य के अपडेट, जैसे कि जेमिनी अल्ट्रा की संभावित रिलीज़, बार की क्षमताओं को और बढ़ा सकती है।

निष्कर्ष में, एरिना लीडरबोर्ड पर GP4 को पार करने के लिए Google बार का प्रमुख अपग्रेड एक महत्वपूर्ण मील का पत्थर है। चैटबॉट एरिना LLNs को बेंचमार्क करने और उनके प्रदर्शन की तुलना करने के लिए एक अनूठा मंच प्रदान करता है। जबकि बार का बेहतर प्रदर्शन प्रभावशाली है, सावधानी बरतना और स्वतंत्र रूप से इसके जवाबों को सत्यापित करना आवश्यक है। भविष्य में Google बार और इसके निरंतर विकास के लिए रोमांचक संभावनाएँ हैं।