Подпишитесь на наши ежедневные и еженедельные рассылки, чтобы получать последние обновления и эксклюзивный контент о ведущих в отрасли материалах об ИИ. Узнать больше
Все говорят о ошеломляющих результатах прибыли Nvidia — рост на целых 265% по сравнению с прошлым годом. Но не стоит забывать о Groq, компании из Кремниевой долины, которая создает новые чипы ИИ для вывода больших языковых моделей (LLM) (принятие решений или прогнозирование на основе существующих моделей, а не обучение). На прошлых выходных Groq внезапно пережил вирусный момент, о котором большинство стартапов только мечтают.
Конечно, это не вызвало такого большого резонанса в социальных сетях, как даже один постов Илона Маска о совершенно не связанной большой языковой модели Grok. Но я уверен, что ребята из Nvidia обратили на это внимание после того, как Мэтт Шумер, генеральный директор HyperWrite, размещено на X о «дикой технологии» Groq, которая «обслуживает Mixtral со скоростью около 500 ток/с» с ответами, которые «практически мгновенны».
Шумер продолжил X с публичная демонстрация «молниеносной системы ответов», показывающей «фактологические, цитируемые ответы с сотнями слов менее чем за секунду» — и внезапно стало казаться, что все в сфере искусственного интеллекта обсуждают и пробуют чат-приложение Groq на его веб-сайте, где пользователи могут выбирать из результатов, предоставленных LLM Llama и Mistral.
Все это произошло после интервью CNN, которое состоялось более недели назад, в котором генеральный директор и основатель Groq Джонатан Росс продемонстрировал, как Groq работает над интерфейсом аудиочата, который «бьет рекорды скорости».
Хотя сейчас ни одна компания не может бросить вызов доминированию Nvidia — Nvidia занимает более 80% рынка высокопроизводительных чипов; другие стартапы в области чипов ИИ, такие как SambaNova и Cerebras, пока не добились больших успехов, даже с выводом на основе ИИ; Nvidia только что отчиталась о выручке в размере 22 млрд долларов за 4 квартал — генеральный директор и основатель Groq Джонатан Росс сказал мне в интервью, что ошеломляющие затраты на вывод делают предложение его стартапа «сверхбыстрым» и более дешевым вариантом, особенно для использования в LLM.
Росс сделал смелое заявление, что «к концу года мы, вероятно, станем инфраструктурой, которую будет использовать большинство стартапов», добавив, что «мы очень благосклонны к стартапам — свяжитесь с нами, и мы позаботимся о том, чтобы вы не платили столько же, сколько заплатили бы в другом месте».
Groq LPU против Nvidia GPU
На веб-сайте Groq ее LPU, или «языковые процессорные модули», описываются как «новый тип системы сквозных процессорных модулей, которая обеспечивает максимально быстрый вывод для вычислительно интенсивных приложений с последовательным компонентом, таких как языковые приложения ИИ (LLM)».
Напротив, графические процессоры Nvidia оптимизированы для параллельной обработки графики, а не LLM. Поскольку LPU Groq специально разработаны для работы с последовательностями данных, такими как код и естественный язык, они могут обслуживать вывод LLM быстрее, чем графические процессоры, обходя две области, с которыми у графических процессоров или центральных процессоров возникают проблемы: плотность вычислений и пропускная способность памяти.
Кроме того, Росс утверждает, что в плане интерфейса чата Groq также отличается от таких компаний, как OpenAI, поскольку Groq не обучает модели, а значит, не регистрирует никаких данных и может сохранять конфиденциальность чат-запросов.
Учитывая, что ChatGPT, по оценкам, будет работать в 13 раз быстрее, если он будет работать на чипах Groq, станет ли OpenAI потенциальным партнером Groq? Росс не стал говорить конкретно, но демонстрационная версия интерфейса аудиочата Groq показала мне, что «возможно, что они могли бы сотрудничать, если будет взаимная выгода. Open AI может быть заинтересована в использовании уникальных возможностей LPU для своих проектов по обработке языка. Это может быть захватывающее партнерство, если они разделяют схожие цели».
Действительно ли LPU Groq меняют правила игры в области вывода искусственного интеллекта?
Я должен был поговорить с Россом несколько месяцев назад, с тех пор как в середине декабря представитель компании по связям с общественностью связался со мной и назвал Groq «американским производителем микросхем, готовым выиграть гонку ИИ». Мне было любопытно, но у меня не было времени ответить на звонок.
Но теперь я определенно нашел время: я хотел узнать, является ли Groq просто последним участником в быстро меняющемся цикле шумихи вокруг ИИ «внимание PR — это все, что вам нужно»? Действительно ли LPU Groq меняют правила игры в области вывода ИИ? И какова была жизнь Росса и его небольшой команды из 200 человек (они называют себя «Groqsters») за последнюю неделю после определенного момента славы в области технического оборудования?
Посты Шумера стали «спичкой, которая зажгла фитиль», — рассказал мне Росс во время видеозвонка из парижского отеля, где он только что обедал с командой Mistral — французского стартапа LLM с открытым исходным кодом, который за последние пару месяцев пережил несколько собственных вирусных моментов.
Он подсчитал, что более 3000 человек обратились к Groq с просьбой о доступе к API в течение 24 часов после поста Шумера, но рассмеялся, добавив, что «мы не выставляем им счет, потому что у нас не настроено выставление счетов. Мы просто позволяем людям пользоваться им бесплатно на данный момент».
Но Росс вряд ли новичок в вопросах управления стартапом в Кремниевой долине — он твердит о потенциале технологий Groq с момента его основания в 2016 году. Быстрый поиск в Google выявил статью Forbes от 2021 года, в которой подробно описывается раунд привлечения инвестиций Groq на сумму 300 миллионов долларов, а также предыстория Росса, когда он помогал изобретать тензорный процессор Google (TPU), а затем ушел из Google, чтобы запустить Groq в 2016 году.
В Groq Росс и его команда создали то, что он называет «очень необычным чипом, потому что если вы создаете автомобиль, вы можете начать с двигателя или с опыта вождения. И мы начали с опыта вождения — мы потратили первые шесть месяцев на работу над компилятором, прежде чем спроектировали чип».
Удовлетворение спроса на доступ к графическим процессорам Nvidia стало крупным бизнесом
Как я сообщал на прошлой неделе, удовлетворение всеобщего спроса на графические процессоры Nvidia, который был главной темой сплетен в Кремниевой долине прошлым летом, превратилось в крупный бизнес в индустрии ИИ.
Он создал новых единорогов GPU-облака (Lamda, Together AI и Coreweave), а бывший генеральный директор GitHub Нат Фридман вчера объявил, что его команда даже создала Craigslist для кластеров GPU. И, конечно, был отчет Wall Street Journal о том, что генеральный директор OpenAI Сэм Альтман хочет справиться со спросом, изменив мир чипов ИИ — с помощью проекта, который может стоить триллионы и имеет сложный геополитический фон.
Росс утверждает, что часть того, что сейчас происходит в сфере GPU, на самом деле является ответом на то, что делает Groq. «Есть некий добродетельный цикл», — сказал он. Например, «Nvidia обнаружила, что суверенные государства — это целое дело, которым они занимаются, и я нахожусь в пятинедельном туре в процессе попытки заключить некоторые сделки здесь со странами… вы не видите этого, когда находитесь снаружи, но есть много вещей, которые следуют за нами».
Он также смело отклонил попытку Альтмана собрать до 7 триллионов долларов на масштабный проект чипа ИИ. «Все, что я скажу, это то, что мы могли бы сделать это за 700 миллиардов», — сказал он. «Мы — выгодная сделка».
Он добавил, что Groq также внесет свой вклад в поставку ИИ-чипов, располагая большими мощностями.
«К концу этого года у нас определенно будет 25 миллионов токенов в секунду мощности, что, по нашим оценкам, соответствует уровню OpenAI в конце 2023 года», — сказал он. «Однако мы работаем со странами над развертыванием оборудования, которое увеличит это число. Например, ОАЭ, как и многие другие. Я в Европе не просто так — есть множество стран, которые были бы заинтересованы в этом».
Но в то же время Groq также должен решать мирские текущие проблемы — например, заставить людей платить за API после вирусного момента компании на прошлой неделе. Когда я спросил Росса, планирует ли он разобраться с выставлением счетов API Groq, Росс сказал: «Мы разберемся». Его представитель по связям с общественностью, также участвовавший в разговоре, быстро вмешался: «Да, это будет одним из первых пунктов повестки дня, Джонатан».