Wenn Sie lokale LMMS betreiben, ist AMA eine der besten Optionen auf dem Markt

Einführung

In einem aktuellen Kommentar auf meinem Discord-Kanal fragte Justin, ob es möglich sei, ein in LM Studio geladenes Modell anstelle von AMA (Adaptive Model Artifacts) zu verwenden. Das brachte mich zum Nachdenken: Warum nicht AMA mit lokalem GPT verwenden? Local GPT ist ein Projekt, das es Ihnen ermöglicht, mit Ihren Dokumenten auf Ihren lokalen Geräten oder in der privaten Cloud zu chatten und dabei die Leistungsfähigkeit von llms (große Sprachmodelle) zu nutzen. In diesem Video zeige ich Ihnen, wie Sie mit nur zwei zusätzlichen Codezeilen ein auf AMA ausgeführtes Modell mit lokalem GPT verwenden.

Lokales GPT einrichten

Der erste Schritt besteht darin, lokales GPT einzurichten. Dazu müssen Sie das lokale GPT-Repository klonen. Sie können dies tun, indem Sie den Repository-Link kopieren und den Git-Befehl clone verwenden. Sobald das Repository geklont ist, müssen Sie mit dem Befehl „conda create -n localGPT python=“ eine virtuelle Umgebung für lokales GPT erstellen„. Aktivieren Sie die virtuelle Umgebung mit dem Befehl „conda activate localGPT“. Als nächstes installieren Sie alle erforderlichen Pakete mit dem Befehl „pip install -r require.txt“.

Dokumente vorbereiten

Um lokales GPT verwenden zu können, benötigen Sie einige Dokumente, mit denen Sie chatten können. Das lokale GPT-Repository enthält das Originaldokument von Ora im Quelldokumentordner. Sie müssen jedoch Ihre eigenen Unterlagen vorlegen. Kopieren Sie Ihre Dokumente in den Quelldokumentordner. Wenn Sie eine vorkonfigurierte virtuelle Maschine von MK Compute verwenden, erfahren Sie im Willkommensdokument, wie Sie Ihre Dokumente auf die virtuelle Remote-Maschine verschieben.

Erstellen eines Vektorspeichers

Als nächstes müssen Sie einen Vektorspeicher für die Dokumente erstellen. Dies kann durch Ausführen des Python-Skripts „injest.py“ im lokalen GPT-Repository erfolgen. Dieses Skript nimmt die Dokumente im Ordner, erstellt Blöcke, berechnet Einbettungen und legt sie in einem Vektorspeicher ab. Die für diesen Schritt benötigte Zeit hängt von der Anzahl Ihrer Dateien ab.

OpenAI Local konfigurieren

Um ein LM mit OpenAI Local (olama) auszuführen, müssen Sie AMA herunterladen und installieren. Gehen Sie zur OpenAI-Website, laden Sie AMA herunter und wählen Sie die entsprechende Option basierend auf Ihrem Betriebssystem aus. Befolgen Sie die bereitgestellten Installationsanweisungen. Sobald AMA installiert ist, wählen Sie ein LLM-Modell zur Ausführung aus. In diesem Beispiel verwenden wir das Modell „Mistol“. Kopieren Sie den Befehl zum Ausführen des Modells und fügen Sie ihn in Ihr Terminal ein. Wenn Sie den Befehl zum ersten Mal ausführen, wird das Modell heruntergeladen, daher kann es einige Zeit dauern. Sobald das Modell heruntergeladen ist, kann mit der Interaktion begonnen werden.

Verwendung von AMA mit lokalem GPT

Nachdem wir nun sowohl AMA als auch lokales GPT eingerichtet haben, können wir AMA mit lokalem GPT verwenden. Öffnen Sie im lokalen GPT-Repository die Datei „run_localgpt.py“. Importieren Sie das Paket „oLama“ aus der Bibliothek „lchaim“ über die Zeile „from lchaim.llms import oLama“. Bitte beachten Sie, dass die in diesem Beispiel verwendete Version von lchaim relativ älter ist, es sich jedoch um die Version handelt, die AMA unterstützt. Fügen Sie diese Zeile zur Datei hinzu. Gehen Sie als Nächstes zu der Zeile, in die das Modell geladen wird (Zeile 140), und kommentieren Sie den vorhandenen Code aus. Ersetzen Sie es durch die Zeile „lm = oLama(model_name='Mistol')“, wobei „Mistol“ der Name des AMA-Modells ist, das Sie verwenden. Speichern Sie die Änderungen.

Ausführen von lokalem GPT mit AMA

Nachdem die Einrichtung abgeschlossen ist, können Sie nun lokales GPT mit AMA ausführen. Navigieren Sie im Terminal zum lokalen GPT-Verzeichnis und führen Sie den Befehl „python run_localgpt.py“ aus. Die Ausgabe zeigt, dass das Einbettungsmodell geladen ist, nicht jedoch der LLM aus der Konstantendatei, da wir den LLM über AMA ausführen. Sie können nun mit dem Modell interagieren, indem Sie Fragen stellen oder ein Gespräch beginnen.

Abschluss

Durch die Verwendung von AMA mit lokalem GPT können Sie die Leistungsfähigkeit von llms in Ihrer lokalen Umgebung nutzen. Mit nur wenigen Codezeilen können Sie AMA-Modelle in Ihr lokales GPT-Framework integrieren. Local GPT ist ein flexibles Framework, das es Ihnen ermöglicht, verschiedene Komponenten aus verschiedenen Quellen einzubinden. Probieren Sie es aus und teilen Sie mir Ihre Meinung mit!