So Meta AI lansează modelul Cod Lama de 70 de miliarde: cel mai mare și cel mai performant model de limbaj din familia Cod Lama

Meta AI a dezvăluit recent cea mai recentă adăugare la seria de modele Cod Lama - modelul Cod Lama 70 de miliarde. Acest nou model este cel mai mare și mai puternic model de limbaj din familia Cod Lama și are capacitatea de a depăși gp4 la sarcinile legate de codificare. În acest articol, vom explora caracteristicile și capacitățile modelului Cod Lama 70 de miliarde și cum se compară cu alte modele de pe piață.

Introducere în modelul Cod Lama 70 miliarde

Modelul Cod Lama 70 miliarde este disponibil în trei versiuni diferite. Prima versiune este modelul de bază, care poate fi reglat în continuare pentru sarcini specifice. Există, de asemenea, o versiune specializată pentru programarea Python, precum și o versiune de instrucțiuni care este reglată fin pentru înțelegerea instrucțiunilor în limbaj natural.

Construit pe partea de sus a lui Lama 2

Seria de modele Cod Lama nu este o arhitectură nouă, ci mai degrabă construită pe deasupra Lama 2. Potrivit Meta, în testarea lor de referință, Cod Lama depășește modelele de limbaj de ultimă generație disponibile public în sarcinile legate de cod, ceea ce este o realizare remarcabilă în comparație cu gp4.

Performanță impresionantă

Modelul inițial gp4, lansat de OpenAI, a avut un scor de 67,0 pe setul de date de evoluție umană – un etalon popular pentru programare. În comparație, modelul Cod Lama 70 de miliarde atinge un scor de testare de evoluție umană de 77,0, care este substanțial mai mare decât orice alt model de limbă mare open source disponibil. De asemenea, este mai mare decât scorul raportat de gp4. Cu toate acestea, este important să rețineți că acest scor este pentru versiunea originală a gp4 și nu știm scorurile evoluției umane pentru cea mai recentă versiune a gp4.

Utilizare și licențiere

Modelul Cod Lama 70 miliarde este lansat sub aceeași licență ca și Lama 2, ceea ce înseamnă că poate fi folosit atât în scopuri de cercetare, cât și în scopuri comerciale. Pentru a accesa modelul din Meta, va trebui să completați un formular de solicitare de acces. Alternativ, modelul este deja disponibil în format hugging pH și o versiune cuantificată poate fi disponibilă în curând.

Procesul de instruire

Toate modelele Cod Lama se bazează pe arhitectura Lama 2 și sunt antrenate pentru 500 de miliarde de jetoane. Pentru versiunile cu 70 de miliarde de parametri, sunt folosite încă 500 de miliarde de jetoane. Versiunea Python folosește un set de date de 100 de miliarde de jetoane pentru reglarea fină super alimentată. Versiunea de reglare fină a instrucțiunilor, concepută pentru o fereastră de context mai lungă de 16.000 de jetoane, utilizează încă 20 de miliarde de jetoane. Versiunea de bază, pe de altă parte, folosește doar 20 de miliarde de jetoane.

Rularea locală a modelului Cod Lama de 70 de miliarde

Pentru a rula modelul Cod Lama 70 de miliarde la nivel local, va trebui mai întâi să descărcați Olama de pe site. Procesul de instalare diferă în funcție de sistemul dvs. de operare. Odată instalat, puteți utiliza comanda „run code Lama 70 bill” pentru a începe să rulați modelul. Există, de asemenea, diferite niveluri de cuantizare disponibile pentru model, permițându-vă să alegeți versiunea specifică care se potrivește nevoilor dumneavoastră.

Demonstrație

Într-o demonstrație, modelului Cod Lama 70 de miliarde i s-a cerut să scrie o funcție care scoate secvența Fibonacci și să scrie cod HTML pentru o pagină web cu un buton care schimbă culoarea de fundal și afișează o glumă aleatoare când este făcut clic. Modelul a generat cu succes rezultatele dorite, prezentându-și abilitățile.

Comparații viitoare

Prezentatorul videoclipului și-a exprimat entuziasmul față de progresele înregistrate cu modelul Cod Lama 70 de miliarde și a menționat planurile de a face o comparație cuprinzătoare între acest model și gp4 în viitor. Această comparație va explora performanța lor în sarcinile legate de codificare, deoarece modelul Cod Lama 70 de miliarde se spune că este la egalitate cu gp4.

În general, lansarea modelului Cod Lama 70 de miliarde marchează o piatră de hotar semnificativă în domeniul modelelor de limbaj mari. Performanța și capacitățile sale impresionante îl fac un instrument valoros atât pentru dezvoltatori, cât și pentru cercetători. Pe măsură ce Meta AI continuă să inoveze și să depășească limitele tehnologiei AI, ne putem aștepta la și mai multe progrese în viitor.