Поразите себя молниеносным выводом языковой модели Грока
Если вы поражены скоростью создания языковой модели, будьте готовы к тому, что вы будете взорваны. Новая аппаратная платформа Groc, известная как Language Processing Unit (LPU), производит революцию в области больших языковых моделей (LLM). В этой статье мы рассмотрим невероятную скорость и возможности LPU Groc, а также доступ к их API и цены.
Жажда скорости: GPD 4 против Mixel 87b против GPT 3.5
Начнем со сравнения скорости генерации для разных языковых моделей. С правой стороны у нас есть GPD 4, а с левой стороны — Mixel 87b. GPD 4 смог сгенерировать почти 500 токенов в секунду, в то время как Mixel 87b все еще обрабатывал запрос, что ошеломляет.
Теперь давайте попробуем тот же эксперимент с GPT 3.5. LPU Грока под названием Croc генерировал текст со скоростью почти 500 токенов в секунду. Это молниеносное поколение заняло всего около 1,68 секунды. Для сравнения, GPD 4 все еще генерировал текст. Понятно, что по скорости ЛПУ «Крока» находится в отдельной лиге.
Знакомство с Groc и языковым процессором (LPU)
Groc, компания, создавшая эту революционную технологию, разработала специальную аппаратную платформу для студентов LLM, которая называется Language Processing Unit (LPU). Это новое оборудование обеспечивает в 18 раз более быстрый вывод для LLM по сравнению с лучшими графическими процессорами, доступными на рынке. LPU меняет правила игры, позволяя Groc предложить максимально возможную скорость вывода для LLM с открытым исходным кодом.
Что отличает LPU Groc, так это его оптимизированная архитектура для студентов LLM. В отличие от графических процессоров, которые изначально были разработаны для игр с интенсивным использованием графики, а затем перепрофилированы для обучения моделей глубоких нейронных сетей, LPU специально разработан для языковой обработки. Эта специализированная архитектура позволяет быстрее делать выводы, обеспечивая самую быструю обработку для ресурсоемких приложений с последовательным компонентом, что имеет решающее значение для LLM.
Раскрытие скорости: демо-версия Groc и доступ к API
Groc предлагает демо-версию, которая позволяет пользователям оценить скорость и возможности своих LLM. На данный момент доступны две модели: Lama 270 Bill и смесь экспертных моделей от Mistal AI. Основное внимание в демонстрации уделяется скорости умозаключений, а не точности ответов.
Например, используя модель Lama 270 Bill, LPU Грока смог генерировать около 280 токенов в секунду в режиме реального времени. Создание новой главы «Игры престолов», где Джон Сноу высказывает свое мнение об iPhone 14, заняло примерно 2,08 секунды. Демо-версия также предоставляет возможность воссоздать текст по пунктам или расширить его.
Платформа Groc также предлагает доступ к API, который полностью совместим с API OpenAI. В настоящее время доступ к API доступен одобренным участникам, и вы можете подать заявку на доступ через их веб-сайт. В случае одобрения вы получите 10 дней бесплатного доступа, что позволит вам использовать до 1 миллиона бесплатных токенов. Цены на API чрезвычайно разумны: Groc гарантирует, что превзойдет любую опубликованную цену за миллион токенов других поставщиков.
Вдохновитель Грока: Джонатан Росс
Возглавляет команду Groc генеральный директор и соучредитель Джонатан Росс, который также является создателем первого блока языковой обработки (LPU). До Грока Росс работал в Google и был создателем Tensor Processing Unit (TPU), специального оборудования Google для глубокого обучения. Его знания и опыт в разработке специализированного оборудования для приложений искусственного интеллекта делают Грока силой, с которой нужно считаться.
Как Грок добивается молниеносного вывода
LPU Groc превосходит традиционные графические процессоры, используемые конкурентами, с точки зрения скорости вывода. Архитектура LPU устраняет два основных узких места для LLM: плотность вычислений и пропускную способность памяти. В качестве специального аппаратного блока для вывода LLM LPU обеспечивает большую плотность вычислений по сравнению с графическими процессорами и центральными процессорами, что приводит к более быстрой генерации текста. Однако важно отметить, что LPU оптимизирован для вывода, а не для обучения, поэтому графические процессоры по-прежнему необходимы для обучения LLM.
Бесконечные возможности с молниеносным выводом Грока
Невероятно высокая скорость вывода Грока открывает мир возможностей для различных приложений. Разговоры с LLM практически в реальном времени теперь доступны, особенно в сочетании с более быстрыми моделями преобразования речи в текст. Эта революционная технология может произвести революцию в отраслях и открыть новые возможности применения, которые ранее были невообразимы.
Когда доступ к API Groc станет доступен, многие пользователи, несомненно, перейдут на эту революционную платформу. Сочетание невероятной скорости, точности и разумной цены делает Groc лучшим выбором для тех, кто ищет молниеносные выводы LLM.
Испытайте на себе мощь LPU Groc и следите за будущими обновлениями доступа к их API. Будущее вывода языковых моделей наступило, и оно происходит быстрее, чем когда-либо прежде.
