אם אתה מפעיל LLMS מקומיות, AMA היא אחת האפשרויות הטובות ביותר שיש

מבוא

בתגובה לאחרונה בערוץ הדיסקורד שלי, ג'סטין שאל אם אפשר להשתמש בדגם שנטען ב-LM Studio במקום להשתמש ב-AMA (Adaptive Model Artifacts). זה גרם לי לחשוב, למה לא להשתמש ב-AMA עם GPT מקומי? Local GPT הוא פרויקט המאפשר לך לשוחח בצ'אט עם המסמכים שלך במכשירים המקומיים או בענן הפרטי שלך באמצעות הכוח של llms (דגמי שפה גדולים). בסרטון זה, אני אראה לכם כיצד להשתמש במודל הפועל על AMA עם GPT מקומי, עם שתי שורות קוד נוספות בלבד.

הגדרת Local GPT

הצעד הראשון הוא הגדרת GPT מקומי. כדי לעשות זאת, עליך לשכפל את מאגר ה-GPT המקומי. אתה יכול לעשות זאת על ידי העתקת קישור המאגר ושימוש בפקודה Git clone. לאחר שיבוט המאגר, עליך ליצור סביבה וירטואלית עבור GPT מקומי באמצעות הפקודה "conda create -n localGPT python=". הפעל את הסביבה הוירטואלית באמצעות הפקודה "conda activere localGPT". לאחר מכן, התקן את כל החבילות הנדרשות באמצעות הפקודה "pip install -r requirements.txt".

הכנת מסמכים

כדי להשתמש ב-GPT מקומי, אתה צריך כמה מסמכים לשוחח איתם. מאגר ה-GPT המקומי מגיע עם נייר אורה המקורי בתיקיית מסמכי המקור. עם זאת, תצטרך לספק מסמכים משלך. העתק את המסמכים שלך לתיקיית מסמכי המקור. אם אתה משתמש במכונה וירטואלית מוגדרת מראש מ-MK compute, מסמך הפתיחה ידריך אותך כיצד להעביר את המסמכים שלך למחשב הוירטואלי המרוחק.

יצירת חנות וקטור

לאחר מכן, עליך ליצור חנות וקטורית עבור המסמכים. ניתן לעשות זאת על ידי הפעלת סקריפט python "injest.py" במאגר ה-GPT המקומי. סקריפט זה לוקח את המסמכים בתיקייה, יוצר נתחים, מחשב הטמעות ומכניס אותם לחנות וקטורית. הזמן שלוקח לשלב זה תלוי במספר הקבצים שיש לך.

הגדרת OpenAI Local

כדי להפעיל llm באמצעות OpenAI Local (olama), עליך להוריד ולהתקין את AMA. עבור לאתר OpenAI, הורד את AMA ובחר את האפשרות המתאימה בהתאם למערכת ההפעלה שלך. פעל לפי הוראות ההתקנה שסופקו. לאחר התקנת AMA, בחר דגם lm להפעלה. בדוגמה זו, נשתמש במודל "Mistol". העתק את הפקודה להפעלת המודל והדבק אותה בטרמינל שלך. בפעם הראשונה שתפעיל את הפקודה, היא תוריד את הדגם, כך שזה עשוי לקחת קצת זמן. לאחר הורדת הדגם, הוא יהיה מוכן להתחיל איתו אינטראקציה.

שימוש ב-AMA עם GPT מקומי

כעת, לאחר שהגדרנו גם AMA וגם GPT מקומי, אנו יכולים להשתמש ב-AMA עם GPT מקומי. במאגר GPT המקומי, פתח את הקובץ "run_localgpt.py". ייבא את חבילת "oLama" מספריית "lchaim" באמצעות השורה "from lchaim.llms import oLama". שימו לב שהגרסה של לחיים המשמשת בדוגמה זו היא ישנה יחסית, אך זו הגרסה שתומכת ב-AMA. הוסף שורה זו לקובץ. לאחר מכן, עבור אל השורה שבה הדגם נטען (שורה 140) והעיר את הקוד הקיים. החלף אותו בשורה "lm = oLama(model_name='Mistol')", כאשר 'Mistol' הוא השם של דגם AMA שבו אתה משתמש. שמור את השינויים.

הפעלת GPT מקומית עם AMA

עם סיום ההגדרה, כעת תוכל להפעיל GPT מקומי עם AMA. במסוף, נווט אל ספריית GPT המקומית והפעל את הפקודה "python run_localgpt.py". הפלט יראה שמודל ההטמעה נטען, אך לא ה-llm מקובץ הקבועים, מכיוון שאנו מריצים את ה-llm מ-AMA. כעת תוכל ליצור אינטראקציה עם המודל על ידי שאילת שאלות או התחלת שיחה.

סיכום

שימוש ב-AMA עם GPT מקומי מאפשר לך למנף את הכוח של llms בסביבה המקומית שלך. עם מספר שורות קוד בלבד, תוכל לשלב מודלים של AMA במסגרת ה-GPT המקומית שלך. Local GPT היא מסגרת גמישה המאפשרת לך להכניס רכיבים שונים ממקורות שונים. נסה את זה ותגיד לי מה אתה חושב!