Dacă rulați llms locale, AMA este una dintre cele mai bune opțiuni

Introducere

Într-un comentariu recent pe canalul meu Discord, Justin a întrebat dacă este posibil să folosești un model încărcat pe LM Studio în loc să folosești AMA (Adaptive Model Artefacts). Acest lucru m-a făcut să mă gândesc, de ce să nu folosesc AMA cu GPT local? Local GPT este un proiect care vă permite să discutați cu documentele dvs. pe dispozitivele dvs. locale sau cloud privat folosind puterea llms (modele mari de limbă). În acest videoclip, vă voi arăta cum să utilizați un model care rulează pe AMA cu GPT local, cu doar două linii de cod suplimentare.

Se configurează GPT local

Primul pas este să configurați GPT local. Pentru a face acest lucru, trebuie să clonați depozitul GPT local. Puteți face acest lucru prin copierea linkului de depozit și folosind comanda Git clone. Odată ce depozitul este clonat, trebuie să creați un mediu virtual pentru GPT local folosind comanda „conda create -n localGPT python=„. Activați mediul virtual folosind comanda „conda activate localGPT”. Apoi, instalați toate pachetele necesare folosind comanda „pip install -r requirements.txt”.

Pregatirea documentelor

Pentru a utiliza GPT local, trebuie să aveți câteva documente cu care să discutați. Depozitul local GPT vine cu documentul original Ora în folderul documentelor sursă. Cu toate acestea, va trebui să furnizați propriile documente. Copiați documentele în folderul documente sursă. Dacă utilizați o mașină virtuală preconfigurată din MK compute, documentul de bun venit vă va ghida despre cum să vă mutați documentele pe mașina virtuală la distanță.

Crearea unui magazin de vectori

Apoi, trebuie să creați un magazin de vectori pentru documente. Acest lucru se poate face prin rularea scriptului python „injest.py” în depozitul local GPT. Acest script preia documentele din folder, creează bucăți, calculează înglobări și le pune într-un depozit de vectori. Timpul necesar pentru acest pas depinde de numărul de fișiere pe care le aveți.

Configurarea OpenAI Local

Pentru a rula un llm folosind OpenAI Local (olama), trebuie să descărcați și să instalați AMA. Accesați site-ul web OpenAI, descărcați AMA și selectați opțiunea potrivită în funcție de sistemul dvs. de operare. Urmați instrucțiunile de instalare furnizate. Odată ce AMA este instalat, alegeți un model llm pentru a rula. În acest exemplu, vom folosi modelul „Mistol”. Copiați comanda pentru rularea modelului și inserați-o în terminal. Prima dată când rulați comanda, acesta va descărca modelul, așa că poate dura ceva timp. Odată ce modelul este descărcat, acesta va fi gata să înceapă să interacționeze cu acesta.

Utilizarea AMA cu GPT local

Acum că avem configurate atât AMA, cât și GPT local, putem folosi AMA cu GPT local. În depozitul local GPT, deschideți fișierul „run_localgpt.py”. Importați pachetul „oLama” din biblioteca „lchaim” folosind linia „from lchaim.llms import oLama”. Vă rugăm să rețineți că versiunea de lchaim folosită în acest exemplu este relativ mai veche, dar este versiunea care acceptă AMA. Adăugați această linie la fișier. Apoi, mergeți la linia în care este încărcat modelul (linia 140) și comentați codul existent. Înlocuiți-l cu linia „lm = oLama(model_name='Mistol')”, unde „Mistol” este numele modelului AMA pe care îl utilizați. Salvați modificările.

Rularea GPT local cu AMA

Odată finalizată configurarea, acum puteți rula GPT local cu AMA. În terminal, navigați la directorul local GPT și rulați comanda „python run_localgpt.py”. Ieșirea va arăta că modelul de încorporare este încărcat, dar nu și llm din fișierul de constante, deoarece rulăm llm din AMA. Acum puteți interacționa cu modelul punând întrebări sau inițiind o conversație.

Concluzie

Utilizarea AMA cu GPT local vă permite să valorificați puterea llms în mediul dvs. local. Cu doar câteva linii de cod, puteți integra modele AMA în cadrul dvs. GPT local. Local GPT este un cadru flexibil care vă permite să aduceți diferite componente din diverse surse. Încearcă și spune-mi ce crezi!