Згідно з неповною статистикою, на даний момент у Китаї випущено 79 великомасштабних моделей із масштабом понад 1 мільярд параметрів, а 14 провінцій/регіонів проводять дослідження та розробку великомасштабних моделей, головним чином зосереджених у Пекіні та Гуандун, з яких 38 великомасштабних моделей у Пекіні та 20 великих моделей у Гуандуні. Серед великих моделей у Китаї більше половини великих моделей мають відкритий код, а університети/науково-дослідні установи є основною силою відкритого коду.
· Пекін, Цзянсу, Гуандун, Шанхай тощо є регіонами з відносно великими талантами великомасштабних моделей, які забезпечують ключову інтелектуальну підтримку для широкомасштабних досліджень і розробок моделей. Однак загальна кількість талантів все ще невелика. Великі моделі мають високий поріг і вимагають високоякісних талантів AI. Наразі кількість масштабних моделей талантів у різних місцях недостатня.
Джерело зображення: створено інструментом Unbounded AI
У Китаї є 79 великомасштабних моделей з більш ніж 1 мільярдом параметрів, в основному зосереджених у Пекіні та Гуандуні.
28 травня на Форумі з розробки великої моделі штучного інтелекту, одному з паралельних форумів Чжунгуаньцуньського форуму 2023 року, Чжао Чжиюнь, директор Китайського інституту науково-технічної інформації, опублікував «Звіт про дослідження великої моделі штучного інтелекту в Китаї». ". В даний час у масштабі Китаю понад 1 мільярд параметрів було випущено 79 великомасштабних моделей, головним чином у Пекіні та Гуандуні, включаючи 38 великомасштабних моделей у Пекіні та 20 великомасштабних моделей у Гуандуні. Серед великих моделей у Китаї більше половини великих моделей мають відкритий код, а університети/науково-дослідні установи є основною силою відкритого коду.
Мережна структура Transformer, випущена Google у 2017 році, є вихідною технологією для розробки великих моделей. Відтоді технологія великих моделей досягла знакових технологічних проривів у розумінні природної мови, комп’ютерного зору та інтелектуального мовлення. Здатність до узагальнення та інші аспекти досягли чехарда розвитку. ChatGPT ще більше стимулював вибухову появу великих мовних моделей, а також залучив велику кількість дослідницьких команд до інвестування в розробку великих моделей, таких як загальне бачення та мультимодальність. Чжао Чжіюнь сказав, що трохи більше ніж за п’ять років технологія великомасштабної моделі сформувала величезну технологічну групу та вивела сімейство великомасштабних моделей, що охоплює різні масштаби параметрів, різні технічні архітектури, різні режими та різні сценарії.
Судячи з тенденції розвитку глобальних великомасштабних моделей, такі організації, як Google і OpenAI у Сполучених Штатах, продовжують лідирувати в області технологій великомасштабних моделей, і все більше і більше дослідницьких команд у Європі, Росії, Ізраїлі тощо є також інвестування в дослідження та розробку великомасштабних моделей. Судячи з розповсюдження великомасштабних моделей, випущених у всьому світі, Китай і Сполучені Штати лідирують із великим відривом, на частку яких припадає понад 80% світової загальної кількості. Сполучені Штати завжди займали перше місце у світі за показниками кількість масштабних моделей Тенденція одночасного зростання.
Що стосується тенденції розвитку великих моделей у Китаї, Чжао Чжіюнь сказав, що згідно з неповною статистикою, наразі в Китаї було випущено 79 великих моделей із масштабом понад 1 мільярд параметрів, а 14 провінцій/регіонів проводять дослідження та розробки. великих моделей, головним чином у Пекіні та Гуандуні, включаючи 38 великих моделей у Пекіні та 20 великих моделей у Гуандуні. З точки зору розподілу предметної області моделі, обробка природної мови все ще є найактивнішою областю дослідження та розробки великомасштабних моделей, за якою йдуть мультимодальні області, і все ще менше великомасштабних моделей у сферах комп’ютерного зору та інтелектуального голосу. З точки зору розподілу суб’єктів досліджень і розробок, різні інноваційні суб’єкти, такі як університети, науково-дослідні установи та підприємства, беруть участь у дослідженнях і розробках великих моделей, а спільні дослідження і розробки між академічними та промисловими колами все ще недостатні. «Великі моделі стрімко розвиваються з початку цього року, але ми також спостерігаємо тенденцію до згортання співпраці, і нам потрібно звернути увагу на наступне».
У той же час ступінь відповідності моделі обчислювальної потужності є високим, а загальнодоступна обчислювальна потужність швидко розвивається. У Пекіні, Гуандуні, Чжецзяні, Шанхаї та інших місцях найбільша кількість великих моделей, і ці чотири місця також є регіонами, де найбільше купували сервери штучного інтелекту за останні три роки. Місця також доповнюють швидко зростаючий попит на обчислювальну потужність штучного інтелекту, надаючи загальнодоступну обчислювальну потужність і надаючи більшу підтримку обчислювальної потужності для дослідження та розробки великомасштабних моделей.
Талант також є важливою опорою штучного інтелекту. Пекін, Цзянсу, Гуандун, Шанхай тощо є регіонами з відносно великою кількістю великих модельних талантів, які забезпечують ключову інтелектуальну підтримку для широкомасштабних досліджень і розробки моделей. Однак загальна кількість талантів все ще невелика. Великі моделі мають високий поріг і вимагають високоякісних талантів AI. Наразі кількість масштабних моделей талантів у різних місцях недостатня.
«Завдяки випуску великих модельних робіт ми бачимо, що академічний вплив великої моделі Китаю поступово формується. З точки зору регіонального впливу, Пекін, Гуандун і Шанхай є найвищими в країні за кількістю робіт. «Чжао Чжіюнь сказав, що модель CogView, спільно розроблена Університетом Цінхуа, Алі та Байду, має найбільшу кількість цитувань. Проте, порівняно з академічним впливом іноземних провідних великих моделей, все ще існує великий розрив.
З точки зору екології інновацій з відкритим кодом, більше половини великих моделей у Китаї мають відкритий код, а Пекін, Гуандун і Шанхай входять до трійки лідерів у країні за кількістю та впливом відкритого коду. Університети/науково-дослідні установи є основними силами відкритого коду. «ChatGLM-6B Університету Цінхуа, MOSS Університету Фудань і серія великомасштабних моделей Wenxin від Baidu мають найбільший вплив на відкрите програмне забезпечення», — сказав Чжао Чжіюнь.
Промислове застосування китайських великомасштабних моделей розвивається двома шляхами. Перший — постійне розширення області застосування великомасштабних моделей загального призначення. Великомасштабна модель швидко розвивається для створення міжгалузевого загального штучного інтелекту. платформу можливостей, і галузь її додатків прискорює своє проникнення від офісу, життя та розваг до медичного обслуговування, промисловості та освіти. По-друге, це безперервне поглиблення професійних великомасштабних моделей у вертикальних полях.Група професійних великомасштабних моделей для вертикальних полів, таких як біомедицина та метеорологія дистанційного зондування, дають повну перевагу своїм глибоким перевагам у цій галузі та забезпечують високоякісні професійні рішення для конкретних бізнес-сценаріїв.
Виступайте за посилення загального планування ресурсів і сил досліджень і розробок, а також сприяйте впорядкованій розробці великих моделей.
Зважаючи на відсутність розробки великих моделей, Чжао Чжиюнь висунув 4 пропозиції та перспективи:
Один з них полягає в зміцненні загального планування ресурсів і науково-дослідних сил для сприяння впорядкованій розробці великих моделей. Шляхом посилення загального планування обчислювальних ресурсів, таких як інтелектуальні обчислювальні центри, суперкомп’ютерні центри та центри хмарних обчислень, сформулюйте публічні каталоги обміну даними та правила обміну, а також сприяйте впорядкованому відкриттю класифікації та класифікації даних.
По-друге, це прискорення фундаментальних досліджень і технологічних інновацій, а також посилення академічного впливу та впливу відкритого коду. Технологія великомасштабних моделей все ще перебуває на ранніх стадіях розробки, і існує величезний потенціал для базової теорії та технологічних інновацій. За допомогою методів мініатюризації, таких як дистиляція та кількісна оцінка, модель «зменшується», надаючи технічну підтримку для мініатюризації та екологічної розробки великих моделей. Подальше зміцнення співпраці між галуззю, університетом і науковими дослідженнями та заохочення відкритих вихідних кодів великих моделей також прискорить технологічний прогрес великих моделей.
По-третє, посилити провідну роль сцени в розробці великих моделей і створити еталонний проект для великих моделей. Створюйте професійні великі моделі в сферах фінансів, медицини та електроенергії на основі галузевих навчальних наборів даних, а також досягайте проривів у високоякісних додатках у конкретних бізнес-сценаріях. Ми також сподіваємося на зворотний розвиток ітеративного оновлення великої моделі технології за допомогою сценаріїв додатків і даних додатків.
По-четверте, це зміцнення міжнародного співробітництва та активна участь у глобальному управлінні штучним інтелектом. Спільно сприяйте управлінню великими моделями з відповідальним ставленням і сподівайтеся, що принципи управління та етичні норми штучного інтелекту зможуть і далі пустити коріння у всьому ланцюжку великих моделей. Водночас зміцнюйте глобальну співпрацю з управління штучним інтелектом на основі зростаючого консенсусу.
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
У Китаї було випущено 79 великомасштабних моделей з більш ніж 1 мільярдом параметрів, зосереджених у Пекіні та Гуандуні
Джерело: The Paper
Репортер Чжан Цзін
Згідно з неповною статистикою, на даний момент у Китаї випущено 79 великомасштабних моделей із масштабом понад 1 мільярд параметрів, а 14 провінцій/регіонів проводять дослідження та розробку великомасштабних моделей, головним чином зосереджених у Пекіні та Гуандун, з яких 38 великомасштабних моделей у Пекіні та 20 великих моделей у Гуандуні. Серед великих моделей у Китаї більше половини великих моделей мають відкритий код, а університети/науково-дослідні установи є основною силою відкритого коду.
· Пекін, Цзянсу, Гуандун, Шанхай тощо є регіонами з відносно великими талантами великомасштабних моделей, які забезпечують ключову інтелектуальну підтримку для широкомасштабних досліджень і розробок моделей. Однак загальна кількість талантів все ще невелика. Великі моделі мають високий поріг і вимагають високоякісних талантів AI. Наразі кількість масштабних моделей талантів у різних місцях недостатня.
У Китаї є 79 великомасштабних моделей з більш ніж 1 мільярдом параметрів, в основному зосереджених у Пекіні та Гуандуні.
28 травня на Форумі з розробки великої моделі штучного інтелекту, одному з паралельних форумів Чжунгуаньцуньського форуму 2023 року, Чжао Чжиюнь, директор Китайського інституту науково-технічної інформації, опублікував «Звіт про дослідження великої моделі штучного інтелекту в Китаї». ". В даний час у масштабі Китаю понад 1 мільярд параметрів було випущено 79 великомасштабних моделей, головним чином у Пекіні та Гуандуні, включаючи 38 великомасштабних моделей у Пекіні та 20 великомасштабних моделей у Гуандуні. Серед великих моделей у Китаї більше половини великих моделей мають відкритий код, а університети/науково-дослідні установи є основною силою відкритого коду.
Мережна структура Transformer, випущена Google у 2017 році, є вихідною технологією для розробки великих моделей. Відтоді технологія великих моделей досягла знакових технологічних проривів у розумінні природної мови, комп’ютерного зору та інтелектуального мовлення. Здатність до узагальнення та інші аспекти досягли чехарда розвитку. ChatGPT ще більше стимулював вибухову появу великих мовних моделей, а також залучив велику кількість дослідницьких команд до інвестування в розробку великих моделей, таких як загальне бачення та мультимодальність. Чжао Чжіюнь сказав, що трохи більше ніж за п’ять років технологія великомасштабної моделі сформувала величезну технологічну групу та вивела сімейство великомасштабних моделей, що охоплює різні масштаби параметрів, різні технічні архітектури, різні режими та різні сценарії.
Судячи з тенденції розвитку глобальних великомасштабних моделей, такі організації, як Google і OpenAI у Сполучених Штатах, продовжують лідирувати в області технологій великомасштабних моделей, і все більше і більше дослідницьких команд у Європі, Росії, Ізраїлі тощо є також інвестування в дослідження та розробку великомасштабних моделей. Судячи з розповсюдження великомасштабних моделей, випущених у всьому світі, Китай і Сполучені Штати лідирують із великим відривом, на частку яких припадає понад 80% світової загальної кількості. Сполучені Штати завжди займали перше місце у світі за показниками кількість масштабних моделей Тенденція одночасного зростання.
Що стосується тенденції розвитку великих моделей у Китаї, Чжао Чжіюнь сказав, що згідно з неповною статистикою, наразі в Китаї було випущено 79 великих моделей із масштабом понад 1 мільярд параметрів, а 14 провінцій/регіонів проводять дослідження та розробки. великих моделей, головним чином у Пекіні та Гуандуні, включаючи 38 великих моделей у Пекіні та 20 великих моделей у Гуандуні. З точки зору розподілу предметної області моделі, обробка природної мови все ще є найактивнішою областю дослідження та розробки великомасштабних моделей, за якою йдуть мультимодальні області, і все ще менше великомасштабних моделей у сферах комп’ютерного зору та інтелектуального голосу. З точки зору розподілу суб’єктів досліджень і розробок, різні інноваційні суб’єкти, такі як університети, науково-дослідні установи та підприємства, беруть участь у дослідженнях і розробках великих моделей, а спільні дослідження і розробки між академічними та промисловими колами все ще недостатні. «Великі моделі стрімко розвиваються з початку цього року, але ми також спостерігаємо тенденцію до згортання співпраці, і нам потрібно звернути увагу на наступне».
У той же час ступінь відповідності моделі обчислювальної потужності є високим, а загальнодоступна обчислювальна потужність швидко розвивається. У Пекіні, Гуандуні, Чжецзяні, Шанхаї та інших місцях найбільша кількість великих моделей, і ці чотири місця також є регіонами, де найбільше купували сервери штучного інтелекту за останні три роки. Місця також доповнюють швидко зростаючий попит на обчислювальну потужність штучного інтелекту, надаючи загальнодоступну обчислювальну потужність і надаючи більшу підтримку обчислювальної потужності для дослідження та розробки великомасштабних моделей.
Талант також є важливою опорою штучного інтелекту. Пекін, Цзянсу, Гуандун, Шанхай тощо є регіонами з відносно великою кількістю великих модельних талантів, які забезпечують ключову інтелектуальну підтримку для широкомасштабних досліджень і розробки моделей. Однак загальна кількість талантів все ще невелика. Великі моделі мають високий поріг і вимагають високоякісних талантів AI. Наразі кількість масштабних моделей талантів у різних місцях недостатня.
«Завдяки випуску великих модельних робіт ми бачимо, що академічний вплив великої моделі Китаю поступово формується. З точки зору регіонального впливу, Пекін, Гуандун і Шанхай є найвищими в країні за кількістю робіт. «Чжао Чжіюнь сказав, що модель CogView, спільно розроблена Університетом Цінхуа, Алі та Байду, має найбільшу кількість цитувань. Проте, порівняно з академічним впливом іноземних провідних великих моделей, все ще існує великий розрив.
З точки зору екології інновацій з відкритим кодом, більше половини великих моделей у Китаї мають відкритий код, а Пекін, Гуандун і Шанхай входять до трійки лідерів у країні за кількістю та впливом відкритого коду. Університети/науково-дослідні установи є основними силами відкритого коду. «ChatGLM-6B Університету Цінхуа, MOSS Університету Фудань і серія великомасштабних моделей Wenxin від Baidu мають найбільший вплив на відкрите програмне забезпечення», — сказав Чжао Чжіюнь.
Промислове застосування китайських великомасштабних моделей розвивається двома шляхами. Перший — постійне розширення області застосування великомасштабних моделей загального призначення. Великомасштабна модель швидко розвивається для створення міжгалузевого загального штучного інтелекту. платформу можливостей, і галузь її додатків прискорює своє проникнення від офісу, життя та розваг до медичного обслуговування, промисловості та освіти. По-друге, це безперервне поглиблення професійних великомасштабних моделей у вертикальних полях.Група професійних великомасштабних моделей для вертикальних полів, таких як біомедицина та метеорологія дистанційного зондування, дають повну перевагу своїм глибоким перевагам у цій галузі та забезпечують високоякісні професійні рішення для конкретних бізнес-сценаріїв.
Виступайте за посилення загального планування ресурсів і сил досліджень і розробок, а також сприяйте впорядкованій розробці великих моделей.
Зважаючи на відсутність розробки великих моделей, Чжао Чжиюнь висунув 4 пропозиції та перспективи:
Один з них полягає в зміцненні загального планування ресурсів і науково-дослідних сил для сприяння впорядкованій розробці великих моделей. Шляхом посилення загального планування обчислювальних ресурсів, таких як інтелектуальні обчислювальні центри, суперкомп’ютерні центри та центри хмарних обчислень, сформулюйте публічні каталоги обміну даними та правила обміну, а також сприяйте впорядкованому відкриттю класифікації та класифікації даних.
По-друге, це прискорення фундаментальних досліджень і технологічних інновацій, а також посилення академічного впливу та впливу відкритого коду. Технологія великомасштабних моделей все ще перебуває на ранніх стадіях розробки, і існує величезний потенціал для базової теорії та технологічних інновацій. За допомогою методів мініатюризації, таких як дистиляція та кількісна оцінка, модель «зменшується», надаючи технічну підтримку для мініатюризації та екологічної розробки великих моделей. Подальше зміцнення співпраці між галуззю, університетом і науковими дослідженнями та заохочення відкритих вихідних кодів великих моделей також прискорить технологічний прогрес великих моделей.
По-третє, посилити провідну роль сцени в розробці великих моделей і створити еталонний проект для великих моделей. Створюйте професійні великі моделі в сферах фінансів, медицини та електроенергії на основі галузевих навчальних наборів даних, а також досягайте проривів у високоякісних додатках у конкретних бізнес-сценаріях. Ми також сподіваємося на зворотний розвиток ітеративного оновлення великої моделі технології за допомогою сценаріїв додатків і даних додатків.
По-четверте, це зміцнення міжнародного співробітництва та активна участь у глобальному управлінні штучним інтелектом. Спільно сприяйте управлінню великими моделями з відповідальним ставленням і сподівайтеся, що принципи управління та етичні норми штучного інтелекту зможуть і далі пустити коріння у всьому ланцюжку великих моделей. Водночас зміцнюйте глобальну співпрацю з управління штучним інтелектом на основі зростаючого консенсусу.