Первоисточник: Yuanchuan Science and Technology Review
Источник изображения: Generated by Unbounded AI
В прошлом месяце в индустрии искусственного интеллекта разразилась «звериная война».
С одной стороны, Llama (лама) от Meta, которая исторически была популярна в сообществе разработчиков благодаря своему открытому исходному коду. Внимательно изучив бумагу Llama и исходный код, NEC быстро «самостоятельно разработала» японскую версию ChatGPT, помогая Японии решить проблему шеи ИИ.
**На другой стороне находится большая модель под названием Falcon (Сокол). ** В мае этого года был спущен на воду Falcon-40B, опередив ламу в рейтинге «Open Source LLM (Large Language Model)».
Список, составленный Hugging face, сообществом моделей с открытым исходным кодом, предоставляет набор критериев для измерения возможностей LLM и ранжирует их. Таблица лидеров в основном состоит из Ламы и Сокола, которые по очереди прокручивают чарты.
После запуска Llama 2 семья лам вернула себе город; Но в начале сентября Falcon запустил версию 180B, снова достигнув более высоких рейтингов.
Falcon разгромил Llama 2, набрав 68,74 балла
Интересно, что разработчиком «Сокола» является не технологическая компания, а Институт научно-технических инноваций, базирующийся в Абу-Даби, столице Объединенных Арабских Эмиратов. Правительственные источники сообщили: «Мы участвуем в этой игре, чтобы подорвать основных игроков».[4] 。
На следующий день после выхода версии 180B министр искусственного интеллекта ОАЭ Омар был выбран журналом Time в качестве одного из «100 самых влиятельных людей в области ИИ»; Вместе с этим ближневосточным лицом были «крестный отец ИИ» Хинтон, Альтман из OpenAI и Робин Ли.
Министр искусственного интеллекта ОАЭ
Сегодня сфера ИИ уже вступила в стадию «группового танца»: все страны и предприятия, обладающие небольшими финансовыми ресурсами, в той или иной степени планируют создать «XX национальную версию ChatGPT». В одних только странах Персидского залива есть более одного игрока – Саудовская Аравия только что купила более 3000 H100 для своих университетов в августе для обучения магистров права.
Чжу Сяоху (Zhu Xiaohu), венчурный капиталист GSR River, однажды пожаловался в кругу друзей: «В то время я смотрел свысока на инновации бизнес-модели (Интернета) и чувствовал, что нет никаких барьеров: война ста полков, война ста автомобилей, война ста радиостанций; Я не ожидал, что жесткие технологии, большое модельное предпринимательство все еще будет войной ста моделей...»
Как может сложная сложная технология, которая, как говорят, является страной, производить 100 000 катти на му?
Трансформер пожирает мир
Американские стартапы, технологические гиганты Китая и ближневосточные нефтяные магнаты смогли мечтать о больших моделях благодаря знаменитой статье «Внимание — это все, что вам нужно».
В 2017 году 8 компьютерных ученых Google раскрыли миру алгоритм Transformer в этой статье. Эта статья в настоящее время является третьей наиболее цитируемой статьей в истории искусственного интеллекта, и появление Transformer нажало на спусковой крючок этого раунда бума искусственного интеллекта.
Независимо от того, какой национальности нынешние большие модели, включая потрясшую мир серию GPT, стоят на плечах Трансформера.
До этого «обучение машин чтению» было признанной академической проблемой. В отличие от распознавания изображений, когда люди читают текст, они не только обращают внимание на слова и предложения, которые они видят в данный момент, но и понимают их в контексте.
Например, слово «Трансформер» на самом деле можно перевести как «Трансформер», но читатели этой статьи наверняка не поймут его таким образом, ведь всем известно, что это статья не о голливудских фильмах. **
Однако в первые годы входные данные нейронных сетей были независимы друг от друга, и у них не было возможности понять большой абзац текста или даже всю статью, поэтому возникла проблема перевода «комната с кипящей водой» в «комнату с открытой водой».
Только в 2014 году Илья Суцкевер, специалист по информатике, который работал в Google, а затем перешел в OpenAI, был первым, кто получил результаты. Он использовал рекуррентные нейронные сети (RNN) для обработки естественного языка, быстро выделив производительность Google Translate среди конкурентов.
RNN предлагает «дизайн петли», при котором каждый нейрон принимает как входную информацию текущего момента, так и входную информацию предыдущего момента, чтобы нейронная сеть имела возможность «комбинировать контекст».
Рекуррентные нейронные сети
Появление РНС разожгло страсть к исследованиям в академических кругах, и Ноам Шазир, автор статьи о Трансформере, также пристрастился к ним. Однако разработчики быстро поняли, что у РНС есть серьезный недостаток:
**Алгоритм использует последовательные вычисления, которые могут решить проблему контекста, но он не эффективен и сложен для обработки большого количества параметров. **
Громоздкая конструкция RNN быстро наскучила Шейзел. Итак, с 2015 года Шейзел и 7 друзей разрабатывают альтернативы RNN, и в результате получился Transformer[8] 。
Ноам Шазир
По сравнению с РНС, преобразование Transformer имеет два момента:
Во-первых, циклическое проектирование РНС заменяется позиционным кодированием, тем самым реализуя параллельные вычисления – это изменение значительно повышает эффективность обучения Transformer, тем самым становясь способным обрабатывать большие данные, подталкивая ИИ в эру больших моделей; Во-вторых, еще больше укрепилась способность к дальнейшему укреплению контекста.
По мере того, как Трансформер решал множество дефектов за один раз, он постепенно превратился в единственное решение НЛП (обработка естественного языка), которое имеет смысл «Трансформер не рождается в природе, НЛП похоже на долгую ночь». Даже Илья забросил РНН, который своими руками держал алтарь, и переключился на Трансформера.
Другими словами, Трансформер является дедушкой всех сегодняшних больших моделей, потому что он превратил большую модель из теоретической исследовательской проблемы в чисто инженерную проблему. **
[9]Древовидная диаграмма развития технологии LLM, корень серого дерева - это трансформатор
В 2019 году компания OpenAI разработала GPT-2 на базе Transformer, что в свое время удивило академические круги. В ответ Google быстро развернул более мощный искусственный интеллект под названием Meena.
По сравнению с GPT-2, Meena не имеет базовых инноваций в алгоритме, но имеет в 8,5 раз больше параметров обучения и в 14 раз большую вычислительную мощность, чем GPT-2. Шейзел, автор статьи «Трансформер», был настолько шокирован «буйной кучей», что написал на месте заметку «Мина пожирает мир».
Появление Transformer сильно замедлило инновации лежащих в его основе алгоритмов в академических кругах. Инженерные элементы, такие как инженерия данных, масштабирование вычислительной мощности и архитектура моделей, все чаще становятся важными победителями и проигравшими в конкуренции ИИ, и до тех пор, пока технологические компании, обладающие некоторыми техническими возможностями, могут вручную отработать большую модель.
Поэтому, когда ученый-компьютерщик Эндрю Нг выступал с речью в Стэнфордском университете, он упомянул один момент: «ИИ — это набор инструментов, включая контролируемое обучение, неконтролируемое обучение, обучение с подкреплением, а теперь и генеративный искусственный интеллект». Все это технологии общего назначения, аналогичные другим технологиям общего назначения, таким как электричество и интернет.[10] "
OpenAI по-прежнему является лидером LLM, но аналитическая фирма Semi Analysis, специализирующаяся на полупроводниках, считает, что конкурентоспособность GPT-4 обусловлена инженерными решениями — если исходный код открыт, любой конкурент может быстро воспроизвести его.
Аналитик предсказывает, что пройдет совсем немного времени, прежде чем другие крупные технологические компании смогут создавать большие модели с такой же производительностью, как GPT-4[11] 。
Ров, построенный на стекле
В настоящее время «стомодельная война» – это уже не риторический прием, а объективная реальность.
Соответствующие отчеты показывают, что по состоянию на июль этого года количество отечественных крупных моделей достигло 130, что выше, чем 114 в США, успешно добивающихся обгона в поворотах, а различных мифов и легенд почти недостаточно для того, чтобы отечественные технологические компании взяли себе имена[12] 。
Помимо Китая и Соединенных Штатов, ряд более богатых стран также изначально достигли принципа «одна страна, одна модель:* * Помимо Японии и Объединенных Арабских Эмиратов, существуют также индийская правительственная большая модель Bhashini, южнокорейская интернет-компания Naver's HyperClova X и так далее. **
Битва, которая нам предстоит, похоже, вернулась в эпоху первопроходцев Интернета, когда пузыри и «возможности банкнот» подвергались бомбардировке.
Как уже говорилось ранее, Transformer превращает большие модели в чисто инженерные задачи, пока у кого-то есть деньги и видеокарты, остальное теряется в параметрах. Однако, несмотря на то, что получить входной билет несложно, это не означает, что у каждого есть возможность стать BAT в эпоху ИИ.
«Звериная война», упомянутая в начале, — типичный случай: хотя Falcon и обошел ламу в рейтинге, сложно сказать, какое влияние она оказала на Мету. **
Как мы все знаем, предприятия открывают исходный код собственных результатов научных исследований не только для того, чтобы поделиться благополучием науки и техники с общественностью, но и для того, чтобы мобилизовать мудрость людей. Поскольку профессора университетов, научно-исследовательские институты, а также малые и средние предприятия продолжают использовать и улучшать Lamama, Meta может применять эти результаты в своих продуктах.
** Для модели с открытым исходным кодом активное сообщество разработчиков является ее основной компетенцией. **
Еще в 2015 году, когда была создана AI Lab, Meta задала основной тон открытому исходному коду; Цукерберг также сколотил свое состояние на бизнесе социальных сетей, и он хорошо разбирается в вопросе «хорошей работы в области связей с общественностью».
Например, в октябре Meta запустила кампанию «AI Creator Incentive»: разработчики, использующие Llama 2 для решения социальных проблем, таких как образование и окружающая среда, получат возможность получить финансирование в размере 500 000 долларов.
Сегодня серия Llama от Meta — это флюгер LLM с открытым исходным кодом.
По состоянию на начало октября, в общей сложности 8 из 10 лучших списков LLM с открытым исходным кодом Hugging face основаны на Llama 2 и используют лицензию с открытым исходным кодом. Только в Hugging face насчитывается более 1500 LLM, использующих протокол с открытым исходным кодом Llama 2[13] 。
По состоянию на начало октября LLM номер один по Hugging face основан на Llama 2
Конечно, можно улучшить производительность, как Falcon, но по сей день большинство LLM на рынке по-прежнему имеют видимый разрыв в производительности с GPT-4.
Например, на днях GPT-4 возглавил тест AgentBench с результатом 4,41. Стандарт AgentBench совместно запущен Университетом Цинхуа, Университетом штата Огайо и Калифорнийским университетом в Беркли для оценки способности LLM к рассуждению и принятию решений в многомерной среде открытой генерации, включая задачи в 8 различных средах, таких как операционная система, база данных, граф знаний и карточный бой.
Результаты тестов показали, что у Клода, который финишировал вторым, было всего 2,77 балла, и разрыв все еще был очевиден. Что касается этих огромных LLM с открытым исходным кодом, их результаты тестов колеблются в районе 1 балла, что составляет менее 1/4 от GPT-4[14] 。
Результаты тестирования AgentBench
Вы знаете, GPT-4 был выпущен в марте этого года, что до сих пор является результатом после того, как мировые аналоги наверстали упущенное более чем за полгода. Причиной такого разрыва является опыт, накопленный командой ученых OpenAI с высокой «плотностью IQ» и многолетними исследованиями LLM, поэтому она всегда может быть далеко впереди.
Другими словами, основной способностью большой модели является не параметр, а построение экологии (открытый исходный код) или чистой способности к рассуждению (закрытый исходный код). **
По мере того, как сообщество разработчиков ПО с открытым исходным кодом становится все более активным, производительность LLM может сближаться, поскольку все они используют схожие архитектуры моделей и схожие наборы данных.
Другая, более интуитивная загадка: кроме Midjourney, ни одна крупная модель, похоже, не приносит денег.
Якорь ценности
В августе этого года большое внимание привлекла любопытная статья под названием «OpenAI может обанкротиться к концу 2024 года»[16] 。 Основную мысль статьи можно резюмировать практически в одном предложении: OpenAI сжигает деньги слишком быстро. **
В статье упоминалось, что с момента разработки ChatGPT убытки OpenAI быстро растут, потеряв около $540 млн только в 2022 году, и могут только ждать, когда инвесторы Microsoft заплатят.
Несмотря на то, что название статьи является сенсационным, оно также рассказывает о текущей ситуации со многими крупными поставщиками моделей: ** Существует серьезный дисбаланс между затратами и доходами. **
Стоимость слишком высока, в результате чего нынешняя зависимость от искусственного интеллекта позволяет зарабатывать много денег только NVIDIA, максимум добавить Broadcom.
По данным консалтинговой фирмы Omdia, Nvidia продала более 300 000 единиц H100 во втором квартале этого года. Это ИИ-чип, эффективность обучения ИИ крайне высока, а технологические компании и научно-исследовательские институты по всему миру расхватывают его. Если бы 300 000 проданных самолетов H100 были сложены друг на друга, они весили бы эквивалентно 4,5 самолетам Boeing 747[18] 。
Показатели Nvidia также взлетели, увеличив выручку на 854% в годовом исчислении, что когда-то шокировало Уолл-стрит. Кстати, нынешняя цена H100 на вторичном рынке спекулирует на уровне $40 000-50 000, но его материальная стоимость составляет всего около $3 000.
Высокая стоимость вычислительных мощностей стала в какой-то степени сопротивлением развитию отрасли. Sequoia Capital подсчитала: ** ожидается, что глобальные технологические компании будут тратить $200 млрд в год на строительство крупномасштабной инфраструктуры; В отличие от них, большие модели могут генерировать только до 75 миллиардов долларов в год, с разрывом не менее 125 миллиардов долларов[17] 。 **
Дженсен Хуанг с H100
Кроме того, за некоторыми исключениями, такими как Midjourney, большинство компаний-разработчиков программного обеспечения еще не придумали, как заработать деньги, заплатив огромные затраты. В частности, два ведущих старших брата в отрасли, Microsoft и Adobe, немного споткнулись.
Microsoft и OpenAI совместно разработали инструмент для генерации кода ИИ, GitHub Copilot, который взимает 10 долларов в месяц, но из-за стоимости оборудования Microsoft теряет 20 долларов, а активные пользователи могут даже заставить Microsoft платить 80 долларов в месяц. Исходя из этих предположений, Microsoft 365 Copilot за 30 долларов не является убытком.
Так совпало, что Adobe, которая только что выпустила инструмент искусственного интеллекта Firefly, также быстро запустила систему очков поддержки, чтобы пользователи не использовали его в больших количествах, что привело к потере денег компанией. Как только пользователь использует больше кредитов, чем выделяется каждый месяц, Adobe замедляет работу службы.
Вы должны знать, что Microsoft и Adobe уже являются софтверными гигантами с понятными бизнес-сценариями и большим количеством готовых платежеспособных пользователей. Большинство параметров нагромождены в небе, а самый большой сценарий применения — это чат.
Нельзя отрицать, что без появления OpenAI и ChatGPT эта революция ИИ, возможно, вообще не произошла бы; Но в настоящее время ценность обучения больших моделей может быть под вопросом.
Более того, по мере того, как конкуренция в области гомогенизации усиливается, а на рынке появляется все больше и больше моделей с открытым исходным кодом, может остаться все меньше места для простых поставщиков больших моделей.
Популярность iPhone 4 связана не с 45-нм процессором A4, а с тем, что он может играть в Plants vs. Zombies и Angry Birds.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Не слишком ли много большой модели?
Первоисточник: Yuanchuan Science and Technology Review
В прошлом месяце в индустрии искусственного интеллекта разразилась «звериная война».
С одной стороны, Llama (лама) от Meta, которая исторически была популярна в сообществе разработчиков благодаря своему открытому исходному коду. Внимательно изучив бумагу Llama и исходный код, NEC быстро «самостоятельно разработала» японскую версию ChatGPT, помогая Японии решить проблему шеи ИИ.
**На другой стороне находится большая модель под названием Falcon (Сокол). ** В мае этого года был спущен на воду Falcon-40B, опередив ламу в рейтинге «Open Source LLM (Large Language Model)».
Список, составленный Hugging face, сообществом моделей с открытым исходным кодом, предоставляет набор критериев для измерения возможностей LLM и ранжирует их. Таблица лидеров в основном состоит из Ламы и Сокола, которые по очереди прокручивают чарты.
После запуска Llama 2 семья лам вернула себе город; Но в начале сентября Falcon запустил версию 180B, снова достигнув более высоких рейтингов.
Интересно, что разработчиком «Сокола» является не технологическая компания, а Институт научно-технических инноваций, базирующийся в Абу-Даби, столице Объединенных Арабских Эмиратов. Правительственные источники сообщили: «Мы участвуем в этой игре, чтобы подорвать основных игроков».[4] 。
На следующий день после выхода версии 180B министр искусственного интеллекта ОАЭ Омар был выбран журналом Time в качестве одного из «100 самых влиятельных людей в области ИИ»; Вместе с этим ближневосточным лицом были «крестный отец ИИ» Хинтон, Альтман из OpenAI и Робин Ли.
Сегодня сфера ИИ уже вступила в стадию «группового танца»: все страны и предприятия, обладающие небольшими финансовыми ресурсами, в той или иной степени планируют создать «XX национальную версию ChatGPT». В одних только странах Персидского залива есть более одного игрока – Саудовская Аравия только что купила более 3000 H100 для своих университетов в августе для обучения магистров права.
Чжу Сяоху (Zhu Xiaohu), венчурный капиталист GSR River, однажды пожаловался в кругу друзей: «В то время я смотрел свысока на инновации бизнес-модели (Интернета) и чувствовал, что нет никаких барьеров: война ста полков, война ста автомобилей, война ста радиостанций; Я не ожидал, что жесткие технологии, большое модельное предпринимательство все еще будет войной ста моделей...»
Как может сложная сложная технология, которая, как говорят, является страной, производить 100 000 катти на му?
Трансформер пожирает мир
Американские стартапы, технологические гиганты Китая и ближневосточные нефтяные магнаты смогли мечтать о больших моделях благодаря знаменитой статье «Внимание — это все, что вам нужно».
В 2017 году 8 компьютерных ученых Google раскрыли миру алгоритм Transformer в этой статье. Эта статья в настоящее время является третьей наиболее цитируемой статьей в истории искусственного интеллекта, и появление Transformer нажало на спусковой крючок этого раунда бума искусственного интеллекта.
Независимо от того, какой национальности нынешние большие модели, включая потрясшую мир серию GPT, стоят на плечах Трансформера.
До этого «обучение машин чтению» было признанной академической проблемой. В отличие от распознавания изображений, когда люди читают текст, они не только обращают внимание на слова и предложения, которые они видят в данный момент, но и понимают их в контексте.
Например, слово «Трансформер» на самом деле можно перевести как «Трансформер», но читатели этой статьи наверняка не поймут его таким образом, ведь всем известно, что это статья не о голливудских фильмах. **
Однако в первые годы входные данные нейронных сетей были независимы друг от друга, и у них не было возможности понять большой абзац текста или даже всю статью, поэтому возникла проблема перевода «комната с кипящей водой» в «комнату с открытой водой».
Только в 2014 году Илья Суцкевер, специалист по информатике, который работал в Google, а затем перешел в OpenAI, был первым, кто получил результаты. Он использовал рекуррентные нейронные сети (RNN) для обработки естественного языка, быстро выделив производительность Google Translate среди конкурентов.
RNN предлагает «дизайн петли», при котором каждый нейрон принимает как входную информацию текущего момента, так и входную информацию предыдущего момента, чтобы нейронная сеть имела возможность «комбинировать контекст».
Появление РНС разожгло страсть к исследованиям в академических кругах, и Ноам Шазир, автор статьи о Трансформере, также пристрастился к ним. Однако разработчики быстро поняли, что у РНС есть серьезный недостаток:
**Алгоритм использует последовательные вычисления, которые могут решить проблему контекста, но он не эффективен и сложен для обработки большого количества параметров. **
Громоздкая конструкция RNN быстро наскучила Шейзел. Итак, с 2015 года Шейзел и 7 друзей разрабатывают альтернативы RNN, и в результате получился Transformer[8] 。
По сравнению с РНС, преобразование Transformer имеет два момента:
Во-первых, циклическое проектирование РНС заменяется позиционным кодированием, тем самым реализуя параллельные вычисления – это изменение значительно повышает эффективность обучения Transformer, тем самым становясь способным обрабатывать большие данные, подталкивая ИИ в эру больших моделей; Во-вторых, еще больше укрепилась способность к дальнейшему укреплению контекста.
По мере того, как Трансформер решал множество дефектов за один раз, он постепенно превратился в единственное решение НЛП (обработка естественного языка), которое имеет смысл «Трансформер не рождается в природе, НЛП похоже на долгую ночь». Даже Илья забросил РНН, который своими руками держал алтарь, и переключился на Трансформера.
Другими словами, Трансформер является дедушкой всех сегодняшних больших моделей, потому что он превратил большую модель из теоретической исследовательской проблемы в чисто инженерную проблему. **
В 2019 году компания OpenAI разработала GPT-2 на базе Transformer, что в свое время удивило академические круги. В ответ Google быстро развернул более мощный искусственный интеллект под названием Meena.
По сравнению с GPT-2, Meena не имеет базовых инноваций в алгоритме, но имеет в 8,5 раз больше параметров обучения и в 14 раз большую вычислительную мощность, чем GPT-2. Шейзел, автор статьи «Трансформер», был настолько шокирован «буйной кучей», что написал на месте заметку «Мина пожирает мир».
Появление Transformer сильно замедлило инновации лежащих в его основе алгоритмов в академических кругах. Инженерные элементы, такие как инженерия данных, масштабирование вычислительной мощности и архитектура моделей, все чаще становятся важными победителями и проигравшими в конкуренции ИИ, и до тех пор, пока технологические компании, обладающие некоторыми техническими возможностями, могут вручную отработать большую модель.
Поэтому, когда ученый-компьютерщик Эндрю Нг выступал с речью в Стэнфордском университете, он упомянул один момент: «ИИ — это набор инструментов, включая контролируемое обучение, неконтролируемое обучение, обучение с подкреплением, а теперь и генеративный искусственный интеллект». Все это технологии общего назначения, аналогичные другим технологиям общего назначения, таким как электричество и интернет.[10] "
OpenAI по-прежнему является лидером LLM, но аналитическая фирма Semi Analysis, специализирующаяся на полупроводниках, считает, что конкурентоспособность GPT-4 обусловлена инженерными решениями — если исходный код открыт, любой конкурент может быстро воспроизвести его.
Аналитик предсказывает, что пройдет совсем немного времени, прежде чем другие крупные технологические компании смогут создавать большие модели с такой же производительностью, как GPT-4[11] 。
Ров, построенный на стекле
В настоящее время «стомодельная война» – это уже не риторический прием, а объективная реальность.
Соответствующие отчеты показывают, что по состоянию на июль этого года количество отечественных крупных моделей достигло 130, что выше, чем 114 в США, успешно добивающихся обгона в поворотах, а различных мифов и легенд почти недостаточно для того, чтобы отечественные технологические компании взяли себе имена[12] 。
Помимо Китая и Соединенных Штатов, ряд более богатых стран также изначально достигли принципа «одна страна, одна модель:* * Помимо Японии и Объединенных Арабских Эмиратов, существуют также индийская правительственная большая модель Bhashini, южнокорейская интернет-компания Naver's HyperClova X и так далее. **
Битва, которая нам предстоит, похоже, вернулась в эпоху первопроходцев Интернета, когда пузыри и «возможности банкнот» подвергались бомбардировке.
Как уже говорилось ранее, Transformer превращает большие модели в чисто инженерные задачи, пока у кого-то есть деньги и видеокарты, остальное теряется в параметрах. Однако, несмотря на то, что получить входной билет несложно, это не означает, что у каждого есть возможность стать BAT в эпоху ИИ.
«Звериная война», упомянутая в начале, — типичный случай: хотя Falcon и обошел ламу в рейтинге, сложно сказать, какое влияние она оказала на Мету. **
Как мы все знаем, предприятия открывают исходный код собственных результатов научных исследований не только для того, чтобы поделиться благополучием науки и техники с общественностью, но и для того, чтобы мобилизовать мудрость людей. Поскольку профессора университетов, научно-исследовательские институты, а также малые и средние предприятия продолжают использовать и улучшать Lamama, Meta может применять эти результаты в своих продуктах.
** Для модели с открытым исходным кодом активное сообщество разработчиков является ее основной компетенцией. **
Еще в 2015 году, когда была создана AI Lab, Meta задала основной тон открытому исходному коду; Цукерберг также сколотил свое состояние на бизнесе социальных сетей, и он хорошо разбирается в вопросе «хорошей работы в области связей с общественностью».
Например, в октябре Meta запустила кампанию «AI Creator Incentive»: разработчики, использующие Llama 2 для решения социальных проблем, таких как образование и окружающая среда, получат возможность получить финансирование в размере 500 000 долларов.
Сегодня серия Llama от Meta — это флюгер LLM с открытым исходным кодом.
По состоянию на начало октября, в общей сложности 8 из 10 лучших списков LLM с открытым исходным кодом Hugging face основаны на Llama 2 и используют лицензию с открытым исходным кодом. Только в Hugging face насчитывается более 1500 LLM, использующих протокол с открытым исходным кодом Llama 2[13] 。
Конечно, можно улучшить производительность, как Falcon, но по сей день большинство LLM на рынке по-прежнему имеют видимый разрыв в производительности с GPT-4.
Например, на днях GPT-4 возглавил тест AgentBench с результатом 4,41. Стандарт AgentBench совместно запущен Университетом Цинхуа, Университетом штата Огайо и Калифорнийским университетом в Беркли для оценки способности LLM к рассуждению и принятию решений в многомерной среде открытой генерации, включая задачи в 8 различных средах, таких как операционная система, база данных, граф знаний и карточный бой.
Результаты тестов показали, что у Клода, который финишировал вторым, было всего 2,77 балла, и разрыв все еще был очевиден. Что касается этих огромных LLM с открытым исходным кодом, их результаты тестов колеблются в районе 1 балла, что составляет менее 1/4 от GPT-4[14] 。
Вы знаете, GPT-4 был выпущен в марте этого года, что до сих пор является результатом после того, как мировые аналоги наверстали упущенное более чем за полгода. Причиной такого разрыва является опыт, накопленный командой ученых OpenAI с высокой «плотностью IQ» и многолетними исследованиями LLM, поэтому она всегда может быть далеко впереди.
Другими словами, основной способностью большой модели является не параметр, а построение экологии (открытый исходный код) или чистой способности к рассуждению (закрытый исходный код). **
По мере того, как сообщество разработчиков ПО с открытым исходным кодом становится все более активным, производительность LLM может сближаться, поскольку все они используют схожие архитектуры моделей и схожие наборы данных.
Другая, более интуитивная загадка: кроме Midjourney, ни одна крупная модель, похоже, не приносит денег.
Якорь ценности
В августе этого года большое внимание привлекла любопытная статья под названием «OpenAI может обанкротиться к концу 2024 года»[16] 。 Основную мысль статьи можно резюмировать практически в одном предложении: OpenAI сжигает деньги слишком быстро. **
В статье упоминалось, что с момента разработки ChatGPT убытки OpenAI быстро растут, потеряв около $540 млн только в 2022 году, и могут только ждать, когда инвесторы Microsoft заплатят.
Несмотря на то, что название статьи является сенсационным, оно также рассказывает о текущей ситуации со многими крупными поставщиками моделей: ** Существует серьезный дисбаланс между затратами и доходами. **
Стоимость слишком высока, в результате чего нынешняя зависимость от искусственного интеллекта позволяет зарабатывать много денег только NVIDIA, максимум добавить Broadcom.
По данным консалтинговой фирмы Omdia, Nvidia продала более 300 000 единиц H100 во втором квартале этого года. Это ИИ-чип, эффективность обучения ИИ крайне высока, а технологические компании и научно-исследовательские институты по всему миру расхватывают его. Если бы 300 000 проданных самолетов H100 были сложены друг на друга, они весили бы эквивалентно 4,5 самолетам Boeing 747[18] 。
Показатели Nvidia также взлетели, увеличив выручку на 854% в годовом исчислении, что когда-то шокировало Уолл-стрит. Кстати, нынешняя цена H100 на вторичном рынке спекулирует на уровне $40 000-50 000, но его материальная стоимость составляет всего около $3 000.
Высокая стоимость вычислительных мощностей стала в какой-то степени сопротивлением развитию отрасли. Sequoia Capital подсчитала: ** ожидается, что глобальные технологические компании будут тратить $200 млрд в год на строительство крупномасштабной инфраструктуры; В отличие от них, большие модели могут генерировать только до 75 миллиардов долларов в год, с разрывом не менее 125 миллиардов долларов[17] 。 **
Кроме того, за некоторыми исключениями, такими как Midjourney, большинство компаний-разработчиков программного обеспечения еще не придумали, как заработать деньги, заплатив огромные затраты. В частности, два ведущих старших брата в отрасли, Microsoft и Adobe, немного споткнулись.
Microsoft и OpenAI совместно разработали инструмент для генерации кода ИИ, GitHub Copilot, который взимает 10 долларов в месяц, но из-за стоимости оборудования Microsoft теряет 20 долларов, а активные пользователи могут даже заставить Microsoft платить 80 долларов в месяц. Исходя из этих предположений, Microsoft 365 Copilot за 30 долларов не является убытком.
Так совпало, что Adobe, которая только что выпустила инструмент искусственного интеллекта Firefly, также быстро запустила систему очков поддержки, чтобы пользователи не использовали его в больших количествах, что привело к потере денег компанией. Как только пользователь использует больше кредитов, чем выделяется каждый месяц, Adobe замедляет работу службы.
Вы должны знать, что Microsoft и Adobe уже являются софтверными гигантами с понятными бизнес-сценариями и большим количеством готовых платежеспособных пользователей. Большинство параметров нагромождены в небе, а самый большой сценарий применения — это чат.
Нельзя отрицать, что без появления OpenAI и ChatGPT эта революция ИИ, возможно, вообще не произошла бы; Но в настоящее время ценность обучения больших моделей может быть под вопросом.
Более того, по мере того, как конкуренция в области гомогенизации усиливается, а на рынке появляется все больше и больше моделей с открытым исходным кодом, может остаться все меньше места для простых поставщиков больших моделей.
Популярность iPhone 4 связана не с 45-нм процессором A4, а с тем, что он может играть в Plants vs. Zombies и Angry Birds.