תפוצץ את דעתך עם מסקנת מודל השפה המהירה ברק של Groc

אם אתה מופתע מהמהירות של יצירת מודלים של שפה, התכונן להטריף את דעתך. פלטפורמת החומרה החדשה של Groc, הידועה בשם Language Processing Unit (LPU), מחוללת מהפכה בתחום מודלים של שפה גדולה (LLM). במאמר זה, נחקור את המהירות והיכולות המדהימות של ה-LPU של Groc, כמו גם את הגישה והתמחור שלהם ל-API.

הצורך במהירות: GPD 4 לעומת Mixel 87b מול GPT 3.5

נתחיל בהשוואת מהירות היצירה עבור דגמי שפה שונים. בצד ימין, יש לנו GPD 4, ובצד שמאל, יש לנו Mixel 87b. GPD 4 הצליח לייצר כמעט 500 אסימונים בשנייה, בעוד Mixel 87b עדיין עיבד בקשה, וזה מפתיע.

כעת, בואו ננסה את אותו ניסוי עם GPT 3.5. ה-LPU של Groc, הנקרא Croc, יצר טקסט במהירות של כמעט 500 אסימונים לשנייה. הדור המהיר הזה לקח רק כ-1.68 שניות. לשם השוואה, GPD 4 עדיין יצר טקסט. ברור שה-LPU של Croc נמצא בליגה משלו בכל הנוגע למהירות.

היכרות עם Groc and the Language Processing Unit (LPU)

Groc, החברה שמאחורי הטכנולוגיה פורצת הדרך הזו, פיתחה פלטפורמת חומרה ייעודית עבור LLMs בשם ה- Language Processing Unit (LPU). החומרה החדשה הזו מספקת הסקה מהירה פי 18 עבור LLMs בהשוואה למעבדי ה-GPU הטובים ביותר הזמינים בשוק. ה-LPU הוא מחליף משחקים, מה שמאפשר ל-Groc להציע את מהירות ההסקה הטובה ביותר עבור LLMs בקוד פתוח.

מה שמייחד את ה-LPU של Groc הוא הארכיטקטורה האופטימלית שלו עבור LLMs. שלא כמו GPUs, אשר תוכננו במקור למשחקים עתירי גרפיקה ומאוחר יותר יועדו מחדש לאימון מודלים של רשתות עצביות עמוקות, ה-LPU תוכנן במיוחד לעיבוד שפה. ארכיטקטורה מיוחדת זו מאפשרת הסקה מהירה יותר על ידי אספקת העיבוד המהיר ביותר עבור יישומים עתירי חישוב עם רכיב רציף, שהוא חיוני עבור LLMs.

שחרור המהירות: הדגמה וגישה ל-API של Groc

Groc מציעה הדגמה המאפשרת למשתמשים לחוות את המהירות והיכולות של ה-LLMs שלהם. נכון לעכשיו, שני דגמים זמינים: Lama 270 Bill והתערובת של דגם מומחה מבית Mistal AI. המיקוד של ההדגמה הוא על מהירות ההסקה ולא על הדיוק של התגובות.

לדוגמה, באמצעות מודל Lama 270 Bill, ה-LPU של Groc הצליח לייצר כ-280 אסימונים לשנייה בזמן אמת. הדור של פרק חדש של משחקי הכס שבו ג'ון סנואו נותן את דעתו על אייפון 14 ארך בערך 2.08 שניות. ההדגמה מספקת גם אפשרויות ליצור מחדש את הטקסט בתבליט או להרחיב עליו.

הפלטפורמה של Groc מציעה גם גישה ל-API, התואמת באופן מלא ל-API של OpenAI. נכון לעכשיו, גישת API זמינה לחברים מאושרים, ואתה יכול להגיש בקשה לגישה דרך האתר שלהם. אם תאושר, תקבל 10 ימים של גישה חינם, מה שיאפשר לך להשתמש בעד מיליון אסימונים בחינם. תמחור ה-API סביר ביותר, כאשר Groc מבטיח לנצח כל מחיר למיליון אסימונים שפורסם על ידי ספקים אחרים.

המוח מאחורי גרוק: ג'ונתן רוס

מי שמוביל את הצוות ב-Groc הוא המנכ"ל והמייסד-שותף ג'ונתן רוס, שהוא גם היוצר של יחידת עיבוד השפה הראשונה (LPU). לפני גרוק, רוס עבד בגוגל והיה היוצר של יחידת העיבוד של Tensor (TPU), החומרה הייעודית של גוגל ללמידה עמוקה. המומחיות והניסיון שלו בפיתוח חומרה מיוחדת עבור יישומי בינה מלאכותית הופכים את Groc לכוח שצריך להתחשב בו.

איך גרוק משיג הסקה מהירה בברק

ה-LPU של Groc עולה בביצועים של GPUs מסורתיים המשמשים את המתחרים מבחינת מהירות ההסקה. הארכיטקטורה של ה-LPU מתגברת על שני צווארי בקבוק עיקריים עבור LLMs: צפיפות מחשוב ורוחב פס זיכרון. כיחידת חומרה ייעודית להסקת LLM, ה-LPU מציע צפיפות מחשוב גדולה יותר בהשוואה למעבדי GPU ומעבדים, וכתוצאה מכך ליצור טקסט מהיר יותר. עם זאת, חשוב לציין שה-LPU מותאם להסקת מסקנות ולא לאימון, כך ש-GPUs עדיין נחוצים לאימון LLMs.

אינסוף אפשרויות עם הסקת הברק של Groc

מהירות ההסקה המהירה של Groc פותחת עולם של אפשרויות ליישומים שונים. שיחות כמעט בזמן אמת עם LLMs נמצאות כעת בהישג יד, במיוחד בשילוב עם מודלים מהירים יותר של דיבור לטקסט. לטכנולוגיה פורצת דרך זו יש פוטנציאל לחולל מהפכה בתעשיות ולאפשר יישומים חדשים שלא ניתן היה להעלות על הדעת בעבר.

ככל שגישת ה-API של Groc תהיה זמינה, משתמשים רבים ללא ספק יעברו לפלטפורמה שמשנה את המשחק הזו. השילוב של מהירות מדהימה, דיוק ותמחור סביר הופך את Groc לבחירה מובילה עבור אלה שמחפשים מסקנות LLM במהירות הבזק.

חווה את העוצמה של ה-LPU של Groc בעצמך והישאר מעודכן לעדכונים עתידיים על גישת ה-API שלהם. העתיד של מסקנות מודל שפה הגיע, והוא מהיר יותר מאי פעם.