Новости В 10 раз быстрее, чем у Nvidia: Groq предлагает качественно новый подход к построению аппаратной части ИИ

[NewsMaker]

Беспрецедентная скорость вычислений оставляет всех конкурентов далеко позади.

---

---

Компания Groq (не путать с чат-ботом Grok от Илона Маска) занимается разработкой специализированного оборудования для работы с искусственным интеллектом и стремится сделать генерацию ответов ИИ в 75 раз быстрее, чем средняя скорость печати человека. Это особенно важно для мгновенного получения информации при общении с чат-ботами или составлении электронных писем.

Groq сосредоточена на создании высокопроизводительных процессоров и программных решений для приложений искусственного интеллекта, машинного обучения и высокопроизводительных вычислений. Энтузиасты в сфере ИИ уже Для просмотра ссылки Войди или Зарегистрируйся беспрецедентную скорость работы фирменной платформы компании и на полном серьёзе называют её убийцей ChatGPT .

Хотя Groq не предоставляет собственных языковых моделей, она способна значительно ускорить работу уже существующих LLM за счёт использования высокооптимизированной аппаратной части собственной разработки. Эксперты уже отметили её инновационный дизайн микросхем, высокую масштабируемость и энергоэффективность.

Отличительной чертой Groq является использование специально разработанного оборудования, так называемых линейных процессоров (LPU), предназначенных конкретно для работы с крупными языковыми моделями в отличие от традиционно используемых графических процессоров ( GPU ), оптимизированных в первую очередь для параллельной обработки графики.

Благодаря своей уникальной архитектуре, LPU-решения от Groq демонстрируют в 10 раз более высокую скорость обработки данных по сравнению с решениями на базе GPU, что делает их идеальными для работы с последовательностями данных, включая ДНК, музыку, код и, разумеется, естественный язык.

Groq утверждает, что её клиенты уже используют фирменные LPU и API компании для работы с языковыми моделями на высоких скоростях. Компания предлагает возможность бесплатного тестирования своей системы без необходимости установки дополнительного программного обеспечения, поддерживая такие модели, как Llama 2 от Meta, Mixtral-8x7b и Mistral 7B.

Том Эллис из Groq Для просмотра ссылки Войди или Зарегистрируйся , что работа над собственной языковой моделью тоже ведётся, однако на данный момент компания сосредоточена на развитии своих предложений в области открытого исходного кода и специализированного оборудования.