На прошлой неделе новое «маленькое» устройство вызвало энтузиазм мирового технологического сообщества. Это первое реальное аппаратное обеспечение искусственного интеллекта в истории человечества, инвестированное генеральным директором OpenAI Сэмом Альтманом - AI Pin.
Значок ИИ прикрепляется непосредственно к груди при использовании От: Гуманный чиновник
Это аппаратное обеспечение, приколотое к груди и окрещенное многими СМИ «iPhone в эпоху искусственного интеллекта», подчеркивает «радикальность» в дизайне, напрямую отрезая дисплей, который должен был быть у центральных мобильных устройств в прошлом, и он должен работать независимо от смартфонов.
В официальной демонстрации AI Pin может напрямую рассчитать, сколько граммов белка содержится в миндале в вашей руке От: Humane Official
На прикладном уровне ИИ-помощник на базе GPT4 является одновременно и системой, и единственным приложением. Голосовые команды пользователя являются основным элементом управления. Остальная часть лазерной проекции и распознавания жестов используется только в качестве дополнения ко всей интерактивной системе, предоставляя пользователям информацию, погоду, время, дату, навигацию и другой контент с очень простым интерфейсом и управлением.
Стивен Тей, известный разработчик, сказал, что AI Pin напомнил ему о выпуске iPhone в то время
Это ниспровержение логики взаимодействия всей эры мобильного интернета сделало AI Pin любимым многими пользователями-гиками.
Идея большинства обычных пользователей заключается в том, что они «надеются встроить это взаимодействие и возможность в свои смартфоны», чтобы снова обновить свои смартфоны.
Очевидно, что с постепенной реализацией различных возможностей больших моделей потребители вот-вот вступят в эпоху, когда они будут рассматривать возможности искусственного интеллекта на своих мобильных устройствах без сбоев, а не только абсолютную производительность центральных и графических процессоров. А это неизбежно принесет новые вызовы и возможности.
С какими сложностями сталкивается популяризация моделей ИИ на мобильных терминалах?
Прежде всего, это новые требования к вычислительным мощностям, которые предлагает модель ИИ.
В отличие от мобильных телефонов и ноутбуков, которые сталкивались с различными системными и программными нагрузками, большие модели увеличились в десятки раз с точки зрения масштаба нейронов, вычислительной мощности, пространства для хранения данных, скорости чтения и записи по сравнению с предыдущими приложениями ИИ.
Сравнение шкал параметров GPT-3 и GPT-4 от: среднего
Если взять в качестве примера последнюю модель GPT-4 от OpenAI, то, согласно слухам в отрасли, существует целых 1,8 триллиона параметров, в то время как GPT-1, выпущенная в 2018 году, имеет только 110 миллионов параметров. Разница в масштабе составляет 10 000 раз.
Даже если модель будет уменьшена на этапе применения мобильных больших моделей, количество параметров модели вывода в реальном приложении будет достигать 7-10 миллиардов параметров. Опираясь на прежний метод апгрейда аппаратных характеристик CPU и GPU на мобильных терминалах, точно не сможет удовлетворить спрос на ИИ-вычисления, возросший в несколько раз, а то и в десятки раз.
Есть только два способа удовлетворить новый спрос, либо подключиться к Интернету, и использовать сеть для «переноса» вычислительного процесса в облако. Или найти способ повысить вычислительную мощность и рассчитать результаты непосредственно локально.
AI Pin, представленный в начале продукта, упакован и интегрирован с сетевыми сервисами американских операторов, а его ежемесячная арендная плата в размере $24 предназначена не только для оплаты сервисных возможностей OpenAI, но и для трат на мобильные сети.
К этому, казалось бы, «лаконичному» подходу тоже есть масса вопросов.
Во-первых, это самая опасная проблема конфиденциальности, которая может привести к рискам безопасности данных, если личные данные, большая часть жизни человека и даже некоторая чрезвычайно конфиденциальная информация будут загружены таким оборудованием, как AI Pin.
Если оглянуться назад, то качество сети, которая помещает все вычислительные потребности ИИ в облако, загружает данные локально, а затем загружает данные, будет сильно влиять на работу конечных пользователей. Особенно за рубежом, где покрытие мобильной сети не такое хорошее, как в Китае, высока вероятность задержки или даже отсутствия ответа.
Стоит обратить внимание и на проблему стоимости, хотя первоначальные инвестиции в единовременную покупку локальных вычислительных мощностей больше, чем в облачные вычислительные мощности с постоянной подпиской, но весь жизненный цикл часто оказывается гораздо более рентабельным. Возьмем, к примеру, AI Pin, со стартовой ценой в 699 долларов и арендной платой в 24 доллара в месяц, это недешево.
Интегрируя вышеперечисленные три пункта, нетрудно прийти к выводу: локализация больших моделей ИИ на мобильных устройствах является оптимальным решением.
Соответственно, индустрия мобильных устройств нуждается в комплексном обновлении от базового оборудования до экосистемы верхнего уровня.
Qualcomm в эпоху искусственного интеллекта
Оглядываясь назад на весь мобильный рынок, можно сказать, что есть всего несколько игроков, которые имеют возможность продвигать это всеобъемлющее обновление, и Qualcomm является одним из них.
На MWC2023 в начале года компания Qualcomm продемонстрировала модель генеративного искусственного интеллекта Stable Diffusion в действии на смартфонах на базе процессора Snapdragon 8 второго поколения. Модель стабильной диффузии с масштабом в 1 миллиард параметров может выполнять 20 шагов вывода за 15 секунд, генерируя текстовую подсказку в изображение.
Особенности мобильной платформы Snapdragon 8 3-го поколения
На недавно выпущенной новой флагманской мобильной платформе Qualcomm, Snapdragon 8 третьего поколения, ядро движка искусственного интеллекта Qualcomm, Hexagon NPU, было снова обновлено, с общей производительностью на 98% и улучшением энергоэффективности на 40%.
Что касается более детальной производительности, то новейший NPU Hexagon повышает производительность искусственного интеллекта до 3,5 раз за счет интеграции более мощного концентратора датчиков Qualcomm, включая 2 постоянно включенных интернет-провайдера, 1 DPS, 2 микро NPU, на 30% больше памяти и поддержку вычислительного режима INT4.
Интуитивно понятный результат заключается в том, что Snapdragon 8 третьего поколения способен запускать генеративные модели искусственного интеллекта с 10 миллиардами параметров и большие языковые модели со скоростью 20 токенов/с. И дело не только в количестве поддерживаемых возможностей, но и в возможностях, которые уже достижимы.
Обладая такой мощной производительностью, Snapdragon 8 третьего поколения смог локально запускать множество приложений, связанных с большими моделями ИИ.
Чжао Мин, генеральный директор Honor Mobile, продемонстрировал на саммите Snapdragon Summit сценарий использования генеративного искусственного интеллекта на мобильных телефонах, который может поддерживать создание тематических видеороликов на мобильных телефонах. Система мобильного телефона может самостоятельно извлекать изображения и видео с той же темой из локальной медиатеки, а затем позволять большой модели ИИ редактировать видео.
Пользователи могут позже изменить фоновую музыку и шаблон, поговорив с ИИ, и весь этот процесс в будущем будет полностью локальным, не беспокоясь о случайной утечке приватных фото и видео данных после загрузки в облако.
На серии Xiaomi 14 уже адаптированный WPS не только генерирует PPT-презентации одним кликом с темой ввода, но и распознает картинки и статьи с текстом, реализует сканирование и чтение «одним взглядом и десятью строками», извлекает ключевые моменты, а пользователи могут задавать вопросы напрямую ИИ в соответствии с вопросами, которые они хотят знать больше всего.
Демонстрация функционала WPS на Xiaomi 14
Для документов, таких как бумаги, контракты и учебные курсы, WPS AI может помочь пользователям понять, проанализировать и обобщить полный текст с помощью сканирования и распознавания, а также предоставить функции отслеживания документов для обеспечения точности и подлинности.
В дополнение к мощной мобильной платформе третьего поколения Snapdragon 8, Qualcomm также представила свой самый мощный на сегодняшний день вычислительный процессор для ПК: Snapdragon X Elite.
Среди них, в части CPU, Qualcomm предложила полностью реконструированный процессор Oryon под предлогом совместимости с набором инструкций ARM, чиновник заявил, что его одноядерная производительность примерно на 14% опережает Apple M2 Max, а энергопотребление снижено на 30%; При этом однопоточная производительность процессора превосходит таковую у i9-13980HX, который специально разработан для высокопроизводительных игровых терминалов, а энергопотребление снижено на 70% при том же уровне производительности.
Производительность графического процессора Adreno также была улучшена до 4,6 триллиона операций с плавающей запятой (TFLOPS), при этом поддерживая 4K@120Hz экраны HDR10 и расширяясь до трех внешних дисплеев UHD или двух внешних дисплеев 5K.
По сравнению с мобильной платформой, гетерогенная вычислительная мощность X Elite была дополнительно улучшена, достигнув 75TOPS, из которых Hexagon NPU поддерживает вычислительную мощность 45TOPS. Благодаря отличной производительности он смог локально запустить модель с 13 миллиардами параметров, а языковая модель с 7 миллиардами параметров может генерировать 30 токенов в секунду.
На саммите Snapdragon компания Blackmagic Design, производитель известного программного обеспечения для редактирования видео Leonardo da Vinci, также представила картину использования Snapdragon X Elite в ИИ: для Magic Mask с поддержкой искусственного интеллекта Snapdragon X Elite в 1,7 раза быстрее, чем высококлассный 12-ядерный процессор Windows со встроенным графическим процессором, а Magic Mask работает на встроенном NPU, что в 3 раза быстрее, чем на том же 12-ядерном процессоре.
Краткий обзор особенностей чипа Snapdragon X Elite
За превосходной производительностью мобильных телефонов и ноутбуков, в дополнение к мощной производительности чипа Qualcomm, также стоит заслуга общего стека программного обеспечения Qualcomm в области искусственного интеллекта. Например, на этом саммите компания Qualcomm объявила о добавлении поддержки быстрого доступа ONNX Runtime к чипам Snapdragon и поддержке Microsoft Compute Driver Model (MCDM).
Первый представляет собой инфраструктуру логического вывода, запущенную Microsoft, которая поддерживает множество запущенных бэкендов, чтобы разработчики могли быть более эффективными при создании соответствующих приложений для вывода; что касается поддержки MCDM, то будущий Qualcomm NPU будет более эффективным и прямым в системе Windows.
Усилия Qualcomm в экосистеме не только помогают партнерам-поставщикам терминалов создавать отличные продукты, но и привлекают все больше и больше независимых поставщиков программного обеспечения (ISV) и разработчиков присоединиться к экосистеме Qualcomm для продвижения внедрения и продвижения приложений для больших моделей искусственного интеллекта на платформах Qualcomm.
Qualcomm продолжает ускоряться
С момента запуска своего первого исследовательского проекта в области искусственного интеллекта компания Qualcomm уже более десяти лет активно работает в области искусственного интеллекта. Годы накопления технологий на мобильных платформах, а также непрерывное изучение возможностей ИИ, наконец, взорвались в тот момент, когда модель ИИ приземлилась.
Согласно циклу разработки чипов в полупроводниковой промышленности около 3 лет, недавно дебютировавшая мобильная платформа третьего поколения Snapdragon 8 и Snapdragon X Elite с отличной производительностью вступили в процесс разработки примерно в 2020 году, что свидетельствует о глубоком понимании и понимании Qualcomm индустрии мобильных устройств и искусственного интеллекта.
Это стремление к передовым технологиям и первоначальное намерение предоставить пользователям максимальный опыт побуждают Qualcomm продолжать двигаться вперед. Это также позволило Qualcomm, которая поднялась из эпохи 3G/4G с коммуникационными технологиями и платформой SoC для мобильных телефонов, снова воспользоваться редкой возможностью больших моделей с искусственным интеллектом.
Такой Qualcomm, естественно, станет первым выбором для потребителей, которые больше не сосредотачиваются только на базовой вычислительной производительности мобильных устройств, а уделяют больше внимания производительности ИИ.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Эпоха замены компьютера, основанного только на производительности CPU/GPU, прошла
Первоисточник: Silicon Star People
На прошлой неделе новое «маленькое» устройство вызвало энтузиазм мирового технологического сообщества. Это первое реальное аппаратное обеспечение искусственного интеллекта в истории человечества, инвестированное генеральным директором OpenAI Сэмом Альтманом - AI Pin.
Это аппаратное обеспечение, приколотое к груди и окрещенное многими СМИ «iPhone в эпоху искусственного интеллекта», подчеркивает «радикальность» в дизайне, напрямую отрезая дисплей, который должен был быть у центральных мобильных устройств в прошлом, и он должен работать независимо от смартфонов.
На прикладном уровне ИИ-помощник на базе GPT4 является одновременно и системой, и единственным приложением. Голосовые команды пользователя являются основным элементом управления. Остальная часть лазерной проекции и распознавания жестов используется только в качестве дополнения ко всей интерактивной системе, предоставляя пользователям информацию, погоду, время, дату, навигацию и другой контент с очень простым интерфейсом и управлением.
Это ниспровержение логики взаимодействия всей эры мобильного интернета сделало AI Pin любимым многими пользователями-гиками.
Идея большинства обычных пользователей заключается в том, что они «надеются встроить это взаимодействие и возможность в свои смартфоны», чтобы снова обновить свои смартфоны.
Очевидно, что с постепенной реализацией различных возможностей больших моделей потребители вот-вот вступят в эпоху, когда они будут рассматривать возможности искусственного интеллекта на своих мобильных устройствах без сбоев, а не только абсолютную производительность центральных и графических процессоров. А это неизбежно принесет новые вызовы и возможности.
С какими сложностями сталкивается популяризация моделей ИИ на мобильных терминалах?
Прежде всего, это новые требования к вычислительным мощностям, которые предлагает модель ИИ.
В отличие от мобильных телефонов и ноутбуков, которые сталкивались с различными системными и программными нагрузками, большие модели увеличились в десятки раз с точки зрения масштаба нейронов, вычислительной мощности, пространства для хранения данных, скорости чтения и записи по сравнению с предыдущими приложениями ИИ.
Если взять в качестве примера последнюю модель GPT-4 от OpenAI, то, согласно слухам в отрасли, существует целых 1,8 триллиона параметров, в то время как GPT-1, выпущенная в 2018 году, имеет только 110 миллионов параметров. Разница в масштабе составляет 10 000 раз.
Даже если модель будет уменьшена на этапе применения мобильных больших моделей, количество параметров модели вывода в реальном приложении будет достигать 7-10 миллиардов параметров. Опираясь на прежний метод апгрейда аппаратных характеристик CPU и GPU на мобильных терминалах, точно не сможет удовлетворить спрос на ИИ-вычисления, возросший в несколько раз, а то и в десятки раз.
Есть только два способа удовлетворить новый спрос, либо подключиться к Интернету, и использовать сеть для «переноса» вычислительного процесса в облако. Или найти способ повысить вычислительную мощность и рассчитать результаты непосредственно локально.
AI Pin, представленный в начале продукта, упакован и интегрирован с сетевыми сервисами американских операторов, а его ежемесячная арендная плата в размере $24 предназначена не только для оплаты сервисных возможностей OpenAI, но и для трат на мобильные сети.
К этому, казалось бы, «лаконичному» подходу тоже есть масса вопросов.
Во-первых, это самая опасная проблема конфиденциальности, которая может привести к рискам безопасности данных, если личные данные, большая часть жизни человека и даже некоторая чрезвычайно конфиденциальная информация будут загружены таким оборудованием, как AI Pin.
Если оглянуться назад, то качество сети, которая помещает все вычислительные потребности ИИ в облако, загружает данные локально, а затем загружает данные, будет сильно влиять на работу конечных пользователей. Особенно за рубежом, где покрытие мобильной сети не такое хорошее, как в Китае, высока вероятность задержки или даже отсутствия ответа.
Стоит обратить внимание и на проблему стоимости, хотя первоначальные инвестиции в единовременную покупку локальных вычислительных мощностей больше, чем в облачные вычислительные мощности с постоянной подпиской, но весь жизненный цикл часто оказывается гораздо более рентабельным. Возьмем, к примеру, AI Pin, со стартовой ценой в 699 долларов и арендной платой в 24 доллара в месяц, это недешево.
Интегрируя вышеперечисленные три пункта, нетрудно прийти к выводу: локализация больших моделей ИИ на мобильных устройствах является оптимальным решением.
Соответственно, индустрия мобильных устройств нуждается в комплексном обновлении от базового оборудования до экосистемы верхнего уровня.
Qualcomm в эпоху искусственного интеллекта
Оглядываясь назад на весь мобильный рынок, можно сказать, что есть всего несколько игроков, которые имеют возможность продвигать это всеобъемлющее обновление, и Qualcomm является одним из них.
На MWC2023 в начале года компания Qualcomm продемонстрировала модель генеративного искусственного интеллекта Stable Diffusion в действии на смартфонах на базе процессора Snapdragon 8 второго поколения. Модель стабильной диффузии с масштабом в 1 миллиард параметров может выполнять 20 шагов вывода за 15 секунд, генерируя текстовую подсказку в изображение.
На недавно выпущенной новой флагманской мобильной платформе Qualcomm, Snapdragon 8 третьего поколения, ядро движка искусственного интеллекта Qualcomm, Hexagon NPU, было снова обновлено, с общей производительностью на 98% и улучшением энергоэффективности на 40%.
Что касается более детальной производительности, то новейший NPU Hexagon повышает производительность искусственного интеллекта до 3,5 раз за счет интеграции более мощного концентратора датчиков Qualcomm, включая 2 постоянно включенных интернет-провайдера, 1 DPS, 2 микро NPU, на 30% больше памяти и поддержку вычислительного режима INT4.
Интуитивно понятный результат заключается в том, что Snapdragon 8 третьего поколения способен запускать генеративные модели искусственного интеллекта с 10 миллиардами параметров и большие языковые модели со скоростью 20 токенов/с. И дело не только в количестве поддерживаемых возможностей, но и в возможностях, которые уже достижимы.
Обладая такой мощной производительностью, Snapdragon 8 третьего поколения смог локально запускать множество приложений, связанных с большими моделями ИИ.
Чжао Мин, генеральный директор Honor Mobile, продемонстрировал на саммите Snapdragon Summit сценарий использования генеративного искусственного интеллекта на мобильных телефонах, который может поддерживать создание тематических видеороликов на мобильных телефонах. Система мобильного телефона может самостоятельно извлекать изображения и видео с той же темой из локальной медиатеки, а затем позволять большой модели ИИ редактировать видео.
Пользователи могут позже изменить фоновую музыку и шаблон, поговорив с ИИ, и весь этот процесс в будущем будет полностью локальным, не беспокоясь о случайной утечке приватных фото и видео данных после загрузки в облако.
На серии Xiaomi 14 уже адаптированный WPS не только генерирует PPT-презентации одним кликом с темой ввода, но и распознает картинки и статьи с текстом, реализует сканирование и чтение «одним взглядом и десятью строками», извлекает ключевые моменты, а пользователи могут задавать вопросы напрямую ИИ в соответствии с вопросами, которые они хотят знать больше всего.
Для документов, таких как бумаги, контракты и учебные курсы, WPS AI может помочь пользователям понять, проанализировать и обобщить полный текст с помощью сканирования и распознавания, а также предоставить функции отслеживания документов для обеспечения точности и подлинности.
В дополнение к мощной мобильной платформе третьего поколения Snapdragon 8, Qualcomm также представила свой самый мощный на сегодняшний день вычислительный процессор для ПК: Snapdragon X Elite.
Среди них, в части CPU, Qualcomm предложила полностью реконструированный процессор Oryon под предлогом совместимости с набором инструкций ARM, чиновник заявил, что его одноядерная производительность примерно на 14% опережает Apple M2 Max, а энергопотребление снижено на 30%; При этом однопоточная производительность процессора превосходит таковую у i9-13980HX, который специально разработан для высокопроизводительных игровых терминалов, а энергопотребление снижено на 70% при том же уровне производительности.
Производительность графического процессора Adreno также была улучшена до 4,6 триллиона операций с плавающей запятой (TFLOPS), при этом поддерживая 4K@120Hz экраны HDR10 и расширяясь до трех внешних дисплеев UHD или двух внешних дисплеев 5K.
По сравнению с мобильной платформой, гетерогенная вычислительная мощность X Elite была дополнительно улучшена, достигнув 75TOPS, из которых Hexagon NPU поддерживает вычислительную мощность 45TOPS. Благодаря отличной производительности он смог локально запустить модель с 13 миллиардами параметров, а языковая модель с 7 миллиардами параметров может генерировать 30 токенов в секунду.
На саммите Snapdragon компания Blackmagic Design, производитель известного программного обеспечения для редактирования видео Leonardo da Vinci, также представила картину использования Snapdragon X Elite в ИИ: для Magic Mask с поддержкой искусственного интеллекта Snapdragon X Elite в 1,7 раза быстрее, чем высококлассный 12-ядерный процессор Windows со встроенным графическим процессором, а Magic Mask работает на встроенном NPU, что в 3 раза быстрее, чем на том же 12-ядерном процессоре.
За превосходной производительностью мобильных телефонов и ноутбуков, в дополнение к мощной производительности чипа Qualcomm, также стоит заслуга общего стека программного обеспечения Qualcomm в области искусственного интеллекта. Например, на этом саммите компания Qualcomm объявила о добавлении поддержки быстрого доступа ONNX Runtime к чипам Snapdragon и поддержке Microsoft Compute Driver Model (MCDM).
Первый представляет собой инфраструктуру логического вывода, запущенную Microsoft, которая поддерживает множество запущенных бэкендов, чтобы разработчики могли быть более эффективными при создании соответствующих приложений для вывода; что касается поддержки MCDM, то будущий Qualcomm NPU будет более эффективным и прямым в системе Windows.
Усилия Qualcomm в экосистеме не только помогают партнерам-поставщикам терминалов создавать отличные продукты, но и привлекают все больше и больше независимых поставщиков программного обеспечения (ISV) и разработчиков присоединиться к экосистеме Qualcomm для продвижения внедрения и продвижения приложений для больших моделей искусственного интеллекта на платформах Qualcomm.
Qualcomm продолжает ускоряться
С момента запуска своего первого исследовательского проекта в области искусственного интеллекта компания Qualcomm уже более десяти лет активно работает в области искусственного интеллекта. Годы накопления технологий на мобильных платформах, а также непрерывное изучение возможностей ИИ, наконец, взорвались в тот момент, когда модель ИИ приземлилась.
Согласно циклу разработки чипов в полупроводниковой промышленности около 3 лет, недавно дебютировавшая мобильная платформа третьего поколения Snapdragon 8 и Snapdragon X Elite с отличной производительностью вступили в процесс разработки примерно в 2020 году, что свидетельствует о глубоком понимании и понимании Qualcomm индустрии мобильных устройств и искусственного интеллекта.
Это стремление к передовым технологиям и первоначальное намерение предоставить пользователям максимальный опыт побуждают Qualcomm продолжать двигаться вперед. Это также позволило Qualcomm, которая поднялась из эпохи 3G/4G с коммуникационными технологиями и платформой SoC для мобильных телефонов, снова воспользоваться редкой возможностью больших моделей с искусственным интеллектом.
Такой Qualcomm, естественно, станет первым выбором для потребителей, которые больше не сосредотачиваются только на базовой вычислительной производительности мобильных устройств, а уделяют больше внимания производительности ИИ.