Минулого тижня новий «маленький» пристрій викликав ентузіазм світової технологічної спільноти. Це перше справжнє апаратне забезпечення штучного інтелекту в історії людства, інвестоване генеральним директором OpenAI Семом Альтманом - AI Pin.
Шпилька AI прикріплюється безпосередньо до грудей під час використання Від: Humane Official
Це апаратне забезпечення, прикріплене до грудей і охрестене багатьма ЗМІ «iPhone в епоху штучного інтелекту», підкреслює «радикальний» дизайн, прямо відсікаючи дисплей, який центральні мобільні пристрої повинні були мати в минулому, і він повинен працювати незалежно від смартфонів.
В офіційній демонстрації AI Pin може безпосередньо обчислити, скільки грамів білка міститься в мигдалі у вашій руці Від: Humane Official
На рівні додатків асистент штучного інтелекту на базі GPT4 є одночасно і системою, і єдиним додатком. Голосові команди користувача є основним елементом управління. В іншому лазерна проекція і розпізнавання жестів використовуються лише як доповнення до всієї інтерактивної системи, надаючи користувачам інформацію, погоду, час, дату, навігацію та інший контент з дуже простим інтерфейсом і управлінням.
Відомий розробник Стівен Тей розповів, що шпилька ШІ нагадала йому про випуск iPhone тоді
Ця підривна логіка взаємодії всієї ери мобільного інтернету зробила AI Pin улюбленим багатьма користувачами-гіками.
Ідея більшості звичайних користувачів полягає в тому, що вони «сподіваються вбудувати цю взаємодію та можливість у свої смартфони», щоб знову оновити свої смартфони.
Очевидно, що з поступовим впровадженням різних можливостей великих моделей споживачі ось-ось вступлять в епоху, коли вони замислюватимуться, чи можуть їхні мобільні пристрої безперебійно працювати з можливостями штучного інтелекту, а не лише абсолютною продуктивністю центральних і графічних процесорів. А це неминуче принесе нові виклики та можливості.
Які виклики пов'язані з популяризацією моделей штучного інтелекту на мобільних терміналах?
Перш за все, це нові вимоги до обчислювальної потужності, запропоновані моделлю штучного інтелекту.
На відміну від мобільних телефонів і ноутбуків, які стикалися з різними системними та програмними навантаженнями, великі моделі зросли в десятки разів з точки зору нейронного масштабу, обчислювальної потужності, простору для зберігання та швидкості читання та запису порівняно з попередніми програмами штучного інтелекту.
Порівняння шкал параметрів GPT-3 та GPT-4 з: medium
Візьмемо за приклад останню модель GPT-4 від OpenAI, згідно з чутками в галузі, існує цілих 1,8 трильйона параметрів, тоді як її GPT-1, випущена в 2018 році, має лише 110 мільйонів параметрів. Різниця в масштабах становить 10 000 разів.
Навіть якщо модель буде зменшена на стадії застосування мобільної великої моделі, кількість параметрів моделі висновків у реальному застосуванні становитиме від 7 до 10 мільярдів параметрів. Покладаючись на попередній метод оновлення апаратних характеристик центрального та графічного процесорів на мобільних терміналах, ви точно не зможете задовольнити попит на обчислення зі штучним інтелектом, який зріс у кілька разів, а то й у десятки разів.
Є тільки два шляхи вирішення нового попиту, або підключитися до інтернету, і використовувати мережу для «перенесення» обчислювального процесу в хмару. Або знайти спосіб покращити обчислювальні потужності та обчислити результати безпосередньо локально.
AI Pin, представлений на початку продукту, упакований та інтегрований з мережевими сервісами американських операторів, а його щомісячна орендна плата в розмірі $24 призначена не тільки для оплати сервісних можливостей OpenAI, але й для витрат на мобільні мережі.
Такий, здавалося б, «лаконічний» підхід також має масу питань.
По-перше, це найнебезпечніша проблема конфіденційності, яка призведе до ризиків для безпеки даних, якщо особисті дані, більшість життєвих частин людини та навіть деяка надзвичайно приватна інформація будуть завантажені апаратним забезпеченням, таким як AI Pin.
Зробивши крок назад, якість мережі, яка розміщує всі потреби в обчисленнях штучного інтелекту в хмарі, завантажує дані локально, а потім завантажує дані, значно вплине на досвід кінцевого користувача. Особливо за кордоном, де покриття мобільної мережі не таке хороше, як у Китаї, існує висока ймовірність затримки або навіть відсутності відповіді.
Також варто звернути увагу на проблему вартості, хоча початкові інвестиції в одноразову покупку локальних обчислювальних потужностей більші, ніж у хмарних обчислювальних потужностей з постійною підпискою, але весь життєвий цикл часто набагато вигідніший. Візьмемо для прикладу AI Pin, зі стартовою ціною $699 і орендною платою $24 на місяць, він недешевий.
Інтегруючи вищезгадані три пункти, неважко дійти висновку: локалізація великих моделей ШІ на мобільних пристроях є оптимальним рішенням.
Відповідно, індустрія мобільних пристроїв повинна провести комплексне оновлення від базового апаратного забезпечення до екосистеми найвищого рівня.
Qualcomm в епоху штучного інтелекту
Озираючись назад на весь мобільний ринок, є лише кілька гравців, які мають можливість просувати це комплексне оновлення, і Qualcomm є одним із них.
На MWC2023 на початку року Qualcomm продемонструвала Stable Diffusion, генеративну модель штучного інтелекту, в дії на смартфонах на Snapdragon 8 другого покоління. Маючи масштаб в 1 мільярд параметрів, модель Stable Diffusion може виконати 20 кроків висновків за 15 секунд, генеруючи текстову підказку в зображення.
Особливості мобільної платформи Snapdragon 8 3-го покоління
На нещодавно випущеній новій флагманській мобільній платформі Qualcomm, Snapdragon 8 третього покоління, ядро механізму штучного інтелекту Qualcomm, Hexagon NPU, було знову оновлено, загальна продуктивність покращилася на 98%, а енергоефективність – на 40%.
У більш детальному вимірі продуктивності новітній Hexagon NPU покращує продуктивність штучного інтелекту до 3,5 разів за рахунок інтеграції потужнішого сенсорного концентратора Qualcomm, включаючи 2 постійно ввімкнених інтернет-провайдера, 1 DPS, 2 мікропроцесори, на 30% більше пам'яті та підтримку режиму обчислень INT4.
Інтуїтивно зрозумілий результат полягає в тому, що Snapdragon 8 третього покоління здатний запускати генеративні моделі штучного інтелекту з параметрами до 10 мільярдів і великі мовні моделі зі швидкістю 20 токенів/с. І це не лише цифри, які підтримуються, а й можливості, які вже досяжні.
Завдяки такій потужній продуктивності Snapdragon 8 третього покоління зміг локально запускати безліч додатків, пов'язаних з великими моделями штучного інтелекту.
Чжао Мін, генеральний директор Honor Mobile, продемонстрував на саміті Snapdragon Summit варіант використання генеративного ШІ на мобільних телефонах, який може підтримувати створення тематичних відео на мобільних телефонах. Система мобільного зв'язку може самостійно отримувати зображення та відео з тією ж темою в локальній медіатеці, а потім дозволити великій моделі зі штучним інтелектом відредагувати відео.
Пізніше користувачі можуть змінити фонову музику та шаблон, поспілкувавшись зі штучним інтелектом, і весь цей процес у майбутньому буде повністю локальним, не турбуючись про випадковий витік приватних фото- та відеоданих після завантаження в хмару.
У серії Xiaomi 14 вже адаптований WPS не тільки генерує презентації PPT одним клацанням миші за допомогою теми введення, але й розпізнає картинки та статті з текстом, реалізує сканування та читання «одного погляду та десяти рядків», витягує ключові моменти, а користувачі можуть ставити запитання безпосередньо ШІ відповідно до питань, які вони хочуть знати найбільше.
Демонстрація функціоналу WPS на Xiaomi 14
Для документів, таких як документи, контракти та курсове програмне забезпечення, WPS AI може допомогти користувачам зрозуміти, проаналізувати та узагальнити повний текст за допомогою сканування та розпізнавання, а також надати функції відстеження документів для забезпечення точності та автентичності.
На додаток до потужної мобільної платформи Snapdragon 8 третього покоління, Qualcomm також представила свій найпотужніший на сьогоднішній день обчислювальний процесор для ПК: Snapdragon X Elite.
Серед них у частині CPU Qualcomm запропонувала повністю реконструйований CPU Oryon за умови сумісності з набором інструкцій ARM, чиновник сказав, що його одноядерна продуктивність приблизно на 14% випереджає Apple M2 Max, а енергоспоживання знижено30%; При цьому однопотокова продуктивність CPU перевищує продуктивність i9-13980HX, який спеціально розроблений для високопродуктивних ігрових терміналів, а енергоспоживання знижується на 70% при тому ж рівні продуктивності.
Продуктивність графічного процесора Adreno також була покращена до 4,6 трильйонів операцій з плаваючою комою (TFLOPS), одночасно підтримуючи 4K@120Hz екрани HDR10 і розширюючись до трьох UHD або двох зовнішніх дисплеїв 5K.
У порівнянні з мобільною платформою, гетерогенна обчислювальна потужність X Elite була додатково покращена, досягнувши 75TOPS, з яких Hexagon NPU підтримує обчислювальну потужність 45TOPS. Завдяки своїй чудовій продуктивності, він зміг запустити модель з 13 мільярдами параметрів локально, а велика мовна модель з 7 мільярдами параметрів може генерувати 30 токенів в секунду.
На Snapdragon Summit компанія Blackmagic Design, виробник відомого програмного забезпечення для відеомонтажу Leonardo da Vinci, також представила картину використання Snapdragon X Elite в ШІ: для Magic Mask з підтримкою штучного інтелекту Snapdragon X Elite в 1,7 рази швидше, ніж висококласний 12-ядерний процесор Windows з інтегрованим графічним процесором, а Magic Mask працює на інтегрованому NPU, що в 3 рази швидше, ніж на тому ж 12-ядерному процесорі.
Коротко про особливості чіпа Snapdragon X Elite
За чудовою продуктивністю мобільних телефонів і ноутбуків, на додаток до потужної продуктивності чіпів Qualcomm, він також має заслугу загального стека програмного забезпечення Qualcomm зі штучним інтелектом. Наприклад, на цьому саміті Qualcomm оголосила про додавання підтримки швидкого доступу ONNX Runtime до чіпів Snapdragon і підтримки моделі Microsoft Compute Driver Model (MCDM).
Перший є фреймворком логічного висновку, запущеним Microsoft, який підтримує різноманітні запущені сервери, так що розробники можуть бути більш ефективними при створенні відповідних додатків логічного висновку; що стосується підтримки MCDM, то майбутній Qualcomm NPU буде більш ефективним і прямим в системі Windows.
Зусилля Qualcomm в екосистемі не тільки допомагають партнерам-постачальникам терміналів створювати чудові продукти, але й залучають все більше і більше незалежних постачальників програмного забезпечення (ISV) і розробників, щоб приєднатися до екосистеми Qualcomm для сприяння впровадженню та просуванню додатків великих моделей штучного інтелекту на платформах Qualcomm.
Qualcomm все ще прискорюється
З моменту запуску свого першого дослідницького проекту в галузі штучного інтелекту Qualcomm вже більше десяти років глибоко займається сферою штучного інтелекту. Роки накопичення технологій на мобільних платформах, а також безперервне дослідження можливостей ШІ нарешті вибухнули в той момент, коли модель ШІ приземлилася.
Згідно з циклом розробки чіпів у напівпровідниковій промисловості, який триває близько 3 років, нещодавно дебютувала мобільна платформа Snapdragon 8 третього покоління та Snapdragon X Elite з чудовою продуктивністю вступили в процес розробки приблизно в 2020 році, що свідчить про глибоке розуміння та розуміння Qualcomm мобільних пристроїв та індустрії штучного інтелекту.
Це прагнення до передових технологій і початковий намір надати користувачам максимальний досвід спонукають Qualcomm продовжувати рухатися вперед. Це також дозволило Qualcomm, яка вийшла з ери 3G/4G з комунікаційними технологіями та платформою SoC для мобільних телефонів, знову скористатися рідкісною можливістю великих моделей зі штучним інтелектом.
Така Qualcomm, природно, стане першим вибором для споживачів, які більше не зосереджуються лише на базовій продуктивності обробки мобільних пристроїв, а приділяють більше уваги продуктивності штучного інтелекту.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Епоха заміни комп'ютера, заснованого тільки на продуктивності CPU/GPU, пройшла
Першоджерело: Silicon Star People
Минулого тижня новий «маленький» пристрій викликав ентузіазм світової технологічної спільноти. Це перше справжнє апаратне забезпечення штучного інтелекту в історії людства, інвестоване генеральним директором OpenAI Семом Альтманом - AI Pin.
Це апаратне забезпечення, прикріплене до грудей і охрестене багатьма ЗМІ «iPhone в епоху штучного інтелекту», підкреслює «радикальний» дизайн, прямо відсікаючи дисплей, який центральні мобільні пристрої повинні були мати в минулому, і він повинен працювати незалежно від смартфонів.
На рівні додатків асистент штучного інтелекту на базі GPT4 є одночасно і системою, і єдиним додатком. Голосові команди користувача є основним елементом управління. В іншому лазерна проекція і розпізнавання жестів використовуються лише як доповнення до всієї інтерактивної системи, надаючи користувачам інформацію, погоду, час, дату, навігацію та інший контент з дуже простим інтерфейсом і управлінням.
Ця підривна логіка взаємодії всієї ери мобільного інтернету зробила AI Pin улюбленим багатьма користувачами-гіками.
Ідея більшості звичайних користувачів полягає в тому, що вони «сподіваються вбудувати цю взаємодію та можливість у свої смартфони», щоб знову оновити свої смартфони.
Очевидно, що з поступовим впровадженням різних можливостей великих моделей споживачі ось-ось вступлять в епоху, коли вони замислюватимуться, чи можуть їхні мобільні пристрої безперебійно працювати з можливостями штучного інтелекту, а не лише абсолютною продуктивністю центральних і графічних процесорів. А це неминуче принесе нові виклики та можливості.
Які виклики пов'язані з популяризацією моделей штучного інтелекту на мобільних терміналах?
Перш за все, це нові вимоги до обчислювальної потужності, запропоновані моделлю штучного інтелекту.
На відміну від мобільних телефонів і ноутбуків, які стикалися з різними системними та програмними навантаженнями, великі моделі зросли в десятки разів з точки зору нейронного масштабу, обчислювальної потужності, простору для зберігання та швидкості читання та запису порівняно з попередніми програмами штучного інтелекту.
Візьмемо за приклад останню модель GPT-4 від OpenAI, згідно з чутками в галузі, існує цілих 1,8 трильйона параметрів, тоді як її GPT-1, випущена в 2018 році, має лише 110 мільйонів параметрів. Різниця в масштабах становить 10 000 разів.
Навіть якщо модель буде зменшена на стадії застосування мобільної великої моделі, кількість параметрів моделі висновків у реальному застосуванні становитиме від 7 до 10 мільярдів параметрів. Покладаючись на попередній метод оновлення апаратних характеристик центрального та графічного процесорів на мобільних терміналах, ви точно не зможете задовольнити попит на обчислення зі штучним інтелектом, який зріс у кілька разів, а то й у десятки разів.
Є тільки два шляхи вирішення нового попиту, або підключитися до інтернету, і використовувати мережу для «перенесення» обчислювального процесу в хмару. Або знайти спосіб покращити обчислювальні потужності та обчислити результати безпосередньо локально.
AI Pin, представлений на початку продукту, упакований та інтегрований з мережевими сервісами американських операторів, а його щомісячна орендна плата в розмірі $24 призначена не тільки для оплати сервісних можливостей OpenAI, але й для витрат на мобільні мережі.
Такий, здавалося б, «лаконічний» підхід також має масу питань.
По-перше, це найнебезпечніша проблема конфіденційності, яка призведе до ризиків для безпеки даних, якщо особисті дані, більшість життєвих частин людини та навіть деяка надзвичайно приватна інформація будуть завантажені апаратним забезпеченням, таким як AI Pin.
Зробивши крок назад, якість мережі, яка розміщує всі потреби в обчисленнях штучного інтелекту в хмарі, завантажує дані локально, а потім завантажує дані, значно вплине на досвід кінцевого користувача. Особливо за кордоном, де покриття мобільної мережі не таке хороше, як у Китаї, існує висока ймовірність затримки або навіть відсутності відповіді.
Також варто звернути увагу на проблему вартості, хоча початкові інвестиції в одноразову покупку локальних обчислювальних потужностей більші, ніж у хмарних обчислювальних потужностей з постійною підпискою, але весь життєвий цикл часто набагато вигідніший. Візьмемо для прикладу AI Pin, зі стартовою ціною $699 і орендною платою $24 на місяць, він недешевий.
Інтегруючи вищезгадані три пункти, неважко дійти висновку: локалізація великих моделей ШІ на мобільних пристроях є оптимальним рішенням.
Відповідно, індустрія мобільних пристроїв повинна провести комплексне оновлення від базового апаратного забезпечення до екосистеми найвищого рівня.
Qualcomm в епоху штучного інтелекту
Озираючись назад на весь мобільний ринок, є лише кілька гравців, які мають можливість просувати це комплексне оновлення, і Qualcomm є одним із них.
На MWC2023 на початку року Qualcomm продемонструвала Stable Diffusion, генеративну модель штучного інтелекту, в дії на смартфонах на Snapdragon 8 другого покоління. Маючи масштаб в 1 мільярд параметрів, модель Stable Diffusion може виконати 20 кроків висновків за 15 секунд, генеруючи текстову підказку в зображення.
На нещодавно випущеній новій флагманській мобільній платформі Qualcomm, Snapdragon 8 третього покоління, ядро механізму штучного інтелекту Qualcomm, Hexagon NPU, було знову оновлено, загальна продуктивність покращилася на 98%, а енергоефективність – на 40%.
У більш детальному вимірі продуктивності новітній Hexagon NPU покращує продуктивність штучного інтелекту до 3,5 разів за рахунок інтеграції потужнішого сенсорного концентратора Qualcomm, включаючи 2 постійно ввімкнених інтернет-провайдера, 1 DPS, 2 мікропроцесори, на 30% більше пам'яті та підтримку режиму обчислень INT4.
Інтуїтивно зрозумілий результат полягає в тому, що Snapdragon 8 третього покоління здатний запускати генеративні моделі штучного інтелекту з параметрами до 10 мільярдів і великі мовні моделі зі швидкістю 20 токенів/с. І це не лише цифри, які підтримуються, а й можливості, які вже досяжні.
Завдяки такій потужній продуктивності Snapdragon 8 третього покоління зміг локально запускати безліч додатків, пов'язаних з великими моделями штучного інтелекту.
Чжао Мін, генеральний директор Honor Mobile, продемонстрував на саміті Snapdragon Summit варіант використання генеративного ШІ на мобільних телефонах, який може підтримувати створення тематичних відео на мобільних телефонах. Система мобільного зв'язку може самостійно отримувати зображення та відео з тією ж темою в локальній медіатеці, а потім дозволити великій моделі зі штучним інтелектом відредагувати відео.
Пізніше користувачі можуть змінити фонову музику та шаблон, поспілкувавшись зі штучним інтелектом, і весь цей процес у майбутньому буде повністю локальним, не турбуючись про випадковий витік приватних фото- та відеоданих після завантаження в хмару.
У серії Xiaomi 14 вже адаптований WPS не тільки генерує презентації PPT одним клацанням миші за допомогою теми введення, але й розпізнає картинки та статті з текстом, реалізує сканування та читання «одного погляду та десяти рядків», витягує ключові моменти, а користувачі можуть ставити запитання безпосередньо ШІ відповідно до питань, які вони хочуть знати найбільше.
Для документів, таких як документи, контракти та курсове програмне забезпечення, WPS AI може допомогти користувачам зрозуміти, проаналізувати та узагальнити повний текст за допомогою сканування та розпізнавання, а також надати функції відстеження документів для забезпечення точності та автентичності.
На додаток до потужної мобільної платформи Snapdragon 8 третього покоління, Qualcomm також представила свій найпотужніший на сьогоднішній день обчислювальний процесор для ПК: Snapdragon X Elite.
Серед них у частині CPU Qualcomm запропонувала повністю реконструйований CPU Oryon за умови сумісності з набором інструкцій ARM, чиновник сказав, що його одноядерна продуктивність приблизно на 14% випереджає Apple M2 Max, а енергоспоживання знижено30%; При цьому однопотокова продуктивність CPU перевищує продуктивність i9-13980HX, який спеціально розроблений для високопродуктивних ігрових терміналів, а енергоспоживання знижується на 70% при тому ж рівні продуктивності.
Продуктивність графічного процесора Adreno також була покращена до 4,6 трильйонів операцій з плаваючою комою (TFLOPS), одночасно підтримуючи 4K@120Hz екрани HDR10 і розширюючись до трьох UHD або двох зовнішніх дисплеїв 5K.
У порівнянні з мобільною платформою, гетерогенна обчислювальна потужність X Elite була додатково покращена, досягнувши 75TOPS, з яких Hexagon NPU підтримує обчислювальну потужність 45TOPS. Завдяки своїй чудовій продуктивності, він зміг запустити модель з 13 мільярдами параметрів локально, а велика мовна модель з 7 мільярдами параметрів може генерувати 30 токенів в секунду.
На Snapdragon Summit компанія Blackmagic Design, виробник відомого програмного забезпечення для відеомонтажу Leonardo da Vinci, також представила картину використання Snapdragon X Elite в ШІ: для Magic Mask з підтримкою штучного інтелекту Snapdragon X Elite в 1,7 рази швидше, ніж висококласний 12-ядерний процесор Windows з інтегрованим графічним процесором, а Magic Mask працює на інтегрованому NPU, що в 3 рази швидше, ніж на тому ж 12-ядерному процесорі.
За чудовою продуктивністю мобільних телефонів і ноутбуків, на додаток до потужної продуктивності чіпів Qualcomm, він також має заслугу загального стека програмного забезпечення Qualcomm зі штучним інтелектом. Наприклад, на цьому саміті Qualcomm оголосила про додавання підтримки швидкого доступу ONNX Runtime до чіпів Snapdragon і підтримки моделі Microsoft Compute Driver Model (MCDM).
Перший є фреймворком логічного висновку, запущеним Microsoft, який підтримує різноманітні запущені сервери, так що розробники можуть бути більш ефективними при створенні відповідних додатків логічного висновку; що стосується підтримки MCDM, то майбутній Qualcomm NPU буде більш ефективним і прямим в системі Windows.
Зусилля Qualcomm в екосистемі не тільки допомагають партнерам-постачальникам терміналів створювати чудові продукти, але й залучають все більше і більше незалежних постачальників програмного забезпечення (ISV) і розробників, щоб приєднатися до екосистеми Qualcomm для сприяння впровадженню та просуванню додатків великих моделей штучного інтелекту на платформах Qualcomm.
Qualcomm все ще прискорюється
З моменту запуску свого першого дослідницького проекту в галузі штучного інтелекту Qualcomm вже більше десяти років глибоко займається сферою штучного інтелекту. Роки накопичення технологій на мобільних платформах, а також безперервне дослідження можливостей ШІ нарешті вибухнули в той момент, коли модель ШІ приземлилася.
Згідно з циклом розробки чіпів у напівпровідниковій промисловості, який триває близько 3 років, нещодавно дебютувала мобільна платформа Snapdragon 8 третього покоління та Snapdragon X Elite з чудовою продуктивністю вступили в процес розробки приблизно в 2020 році, що свідчить про глибоке розуміння та розуміння Qualcomm мобільних пристроїв та індустрії штучного інтелекту.
Це прагнення до передових технологій і початковий намір надати користувачам максимальний досвід спонукають Qualcomm продовжувати рухатися вперед. Це також дозволило Qualcomm, яка вийшла з ери 3G/4G з комунікаційними технологіями та платформою SoC для мобільних телефонів, знову скористатися рідкісною можливістю великих моделей зі штучним інтелектом.
Така Qualcomm, природно, стане першим вибором для споживачів, які більше не зосереджуються лише на базовій продуктивності обробки мобільних пристроїв, а приділяють більше уваги продуктивності штучного інтелекту.