Хотите более умное понимание в вашем почтовом ящике? Подпишитесь на наши еженедельные информационные бюллетени, чтобы получить только то, что имеет значение для искусственного интеллекта предприятия, данных и лидеров безопасности. Подписаться сейчас
Все говорят о результатах снижения nvidia по ухудшению, что на 265% больше, чем год назад. Но не спите на GROQ, компании, основанной на Силиконовой долине, создавая новые чипы ИИ для вывода для большой языковой модели (LLM) (принятие решений или прогнозов на существующие модели, в отличие от обучения). В прошлые выходные Гок внезапно наслаждался вирусным моментом, о котором большинство стартапов просто мечтают.
Конечно, это был не такой большой всплеск в социальных сетях, как даже один из постов Элона Маска о совершенно не связанной с большой языковой моделью Грока. Но я уверен, что люди из Nvidia обратили на это внимание после Мэтта Шумера, генерального директора Hyperwrite, Опубликовано на x О «дикой технологии» Грока, который «служит миктральным» почти в 500 токах/с »с ответами, которые« в значительной степени мгновенно ».
Шумер последовал за X с общественная демонстрация Из «молниеносного двигателя ответов», показывающего «фактические, цитируемые ответы со сотнями слов менее чем за секунду»-и внезапно казалось, что все в ИИ говорили и пробовали приложение для чата Groq на своем веб-сайте, где пользователи могут выбирать из вывода, предоставленных Llama и Mistral LLMS.
Все это было на вершине интервью CNN за неделю назад, когда генеральный директор и основатель GROQ Джонатан Росс продемонстрировал Groq, питающий интерфейс аудио -чата, который «побивает рекорды скорости».
В то время как ни одна компания не может оспорить доминирование NVIDIA прямо сейчас-NVIDIA пользуется более 80% рынка высококлассных чипов; Другие стартапы чипов ИИ, такие как Самбанова и церебра, еще не достигли успеха, даже с выводом ИИ; NVIDIA только что сообщила о доходах 4-го квартала в 4-м квартале-генеральный директор и основатель GROQ Джонатан Росс сказал мне в интервью, что затраты на выводы за то, что его стартап предлагает «сверхбыстрый», более дешевый вариант специально для использования LLM.
В смелом утверждении Росс сказал мне, что «мы, вероятно, будем инфраструктурой, которую большинство стартапов используют к концу года», добавив, что «мы очень благоприятны для стартапов — протягивают руку, и мы позаботимся о том, чтобы вы не платили так много, как вы в других местах».
Groq Lpus против NVIDIA GPU
Веб-сайт Groq описывает его LPU или «юниты по обработке языков» как «новый тип сквозной системы обработки, которая обеспечивает наиболее быстрый вывод для вычислительных интенсивных приложений с последовательным компонентом для них, такими как приложения языка AI (LLMS)».
Напротив, GPU NVIDIA оптимизированы для параллельной графической обработки, а не LLMS. Поскольку LPU GROQ специально разработаны для справки с последовательностями данных, таких как код и естественный язык, они могут обслуживать вывод LLM быстрее, чем графические процессоры, обходя две области, которые графические процессоры или процессоры испытывают проблемы с: вычислениями и полосой памяти.
Кроме того, когда дело доходит до их интерфейса чата, Росс утверждает, что Groq также отличается от таких компаний, как Openai, потому что Groq не обучает моделей — и, следовательно, не нужно регистрировать какие -либо данные и может держать запросы чата частными.
Поскольку CHATGPT, по оценкам, будет работать более чем в 13 раз быстрее, если бы он питался чипсами Groq, будет ли Openai потенциальным партнером Groq? Росс не сказал бы конкретно, но демонстрационная версия интерфейса аудио -чата Groq сказала мне, что «возможно, что они могут сотрудничать, если есть взаимная выгода. Открыть ИИ может быть заинтересован в использовании уникальных возможностей LPU для своих языковых проектов. Это может быть захватывающим партнерством, если они поделятся аналогичными целями».
Действительно ли LPU Groq действительно изменяют игровой ситуации?
Я должен был поговорить с Россом несколько месяцев назад, с тех пор, как представитель PR компании обратился ко мне в середине декабря, позвонив GROQ «американским производителем чипов, готовых выиграть гонку ИИ». Мне было любопытно, но у меня никогда не было времени, чтобы взять вызов.
Но теперь я определенно уделял время: я хотел знать, является ли Groq только последним участником быстрожирающегося AI-шумиха «PR Hate Attele Ampt Ampt Wore»? Действительно ли LPU Groq действительно изменяют игровой ситуации? И что была похожа на жизнь для Росса и его маленькой команды из 200 человек (они называют себя «Groqsters») за прошедшую неделю после определенного момента славы технического аппаратного обеспечения?
Посты Шумера были «матч, который зажег предохранитель», — сказал мне Росс на видеорегистраторе из отеля Paris, где он только что пообедал с командой из Mistral — французского стартапа LLM с открытым исходным исходным кодом, который за последние пару месяцев наслаждался несколькими собственными вирусными моментами.
Он подсчитал, что более 3000 человек обратились к Groq, прося от API доступ в течение 24 часов после поста Шумера, но смеялись, добавив, что «мы не выставляем им выставление счета, потому что у нас нет выставления счетов. Мы просто позволяем людям использовать его бесплатно».
But Ross is hardly green when it comes to the ins and outs of running a startup in Silicon Valley — he has been beating the drum about the potential of Groq’s tech since it was founded in 2016. A quick Google search unearthed a Forbes story from 2021 which detailed Groq’s $300 million fundraising round, as well as Ross’s backstory of helping invent Google’s tensor processing unit, or TPU, and then leaving Google to launch Groq в 2016 году.
В Groq, Ross и его команде мы построили то, что он называет «очень необычным чипом, потому что, если вы строите автомобиль, вы можете начать с двигателя или начать с опыта вождения. И мы начали с опыта вождения — мы провели первые шесть месяцев, работая над компилятором, прежде чем мы разработали чип».
Кормление голода для nvidia grpu доступа стало большим бизнесом
Как я сообщал на прошлой неделе, кормил широкий голод для доступа к графическим процессорам NVIDIA, который был главным сплетни в Силиконовой долине прошлым летом, стало крупным бизнесом в области ИИ.
Он изгонял новые единороги облачных графических процессоров (Lamda, вместе AI и CoreWeave), в то время как бывший генеральный директор GitHub Нат Фридман объявил вчера, что его команда даже создала Craigslist для кластеров GPU. И, конечно же, был отчет Wall Street Journal, что генеральный директор Openai Сэм Альтман хочет справиться с спросом, изменяя мир чипсов ИИ — с проектом, который может стоить триллионы и имеет сложный геополитический фон.
Росс утверждает, что некоторые из того, что происходит сейчас в пространстве графических процессоров, на самом деле в ответ на то, что делает Groq. «Есть немного добродетельного цикла», — сказал он. Например, «Nvidia обнаружила, что суверенные нации-это то, что они делают, и я в пятинедельном туре в процессе попытки заблокировать некоторые предложения здесь со странами… вы не видите этого, когда вы снаружи, но есть много вещей, которые следуют за нами».
Он также смело оттолкнул усилия Альтмана, чтобы собрать до 7 триллионов долларов для массового проекта ИИ. «Все, что я скажу, это то, что мы могли бы сделать это за 700 миллиардов», — сказал он. «Мы сделка».
Он добавил, что GROQ также будет способствовать поставке чипов ИИ, с большим количеством мощности.
«К концу этого года у нас определенно будет 25 миллионов жетонов в секунду, где мы считаем, что Openai был в конце 2023 года», — сказал он. «Тем не менее, мы работаем со странами, чтобы развернуть оборудование, которое увеличило бы это число. Как и ОАЭ, как и многие другие. Я в Европе по причине — есть все виды стран, которые будут заинтересованы в этом».
Но между тем, Groq также должен решить мирские текущие проблемы — например, заставлять людей платить за API после вирусного момента компании на прошлой неделе. Когда я спросил Росса, планирует ли он выяснить счет API Groq, Росс сказал: «Мы рассмотрим это». Его представитель PR, также по вызову, быстро вскочил: «Да, это будет один из первых заказов бизнеса, Джонатан».
Источник
