·Согласно неполным статистическим данным, в настоящее время в Китае выпущено 79 крупномасштабных моделей с масштабом более 1 миллиарда параметров, а 14 провинций/регионов проводят исследования и разработки крупномасштабных моделей, в основном сосредоточенных в Пекине. и Гуандун, из которых 38 крупномасштабных моделей в Пекине и 20 крупных моделей в провинции Гуандун. Среди крупных моделей в Китае более половины крупных моделей имеют открытый исходный код, а университеты/научно-исследовательские институты являются основной силой открытого исходного кода.
·Пекин, Цзянсу, Гуандун, Шанхай и т. д. являются районами с относительно большими талантами в области крупномасштабных моделей, обеспечивающими ключевую интеллектуальную поддержку для исследований и разработок крупномасштабных моделей. Однако общее количество талантов по-прежнему невелико. Крупномасштабные модели имеют высокий порог и требуют качественных талантов ИИ. В настоящее время количество талантов крупномасштабных моделей в разных местах недостаточно.
Источник изображения: сгенерировано инструментом Unbounded AI
В Китае имеется 79 крупномасштабных моделей с более чем 1 миллиардом параметров, в основном сосредоточенных в Пекине и провинции Гуандун.
28 мая на Форуме по разработке больших моделей искусственного интеллекта, одном из параллельных форумов форума Чжунгуаньцунь 2023 года, Чжао Чжиюнь, директор Китайского института научной и технологической информации, опубликовал «Отчет об исследованиях большой модели искусственного интеллекта в Китае». ". В настоящее время масштаб Китая превышает 1 миллиард параметров. Было выпущено 79 крупномасштабных моделей, в основном в Пекине и Гуандуне, в том числе 38 крупномасштабных моделей в Пекине и 20 крупномасштабных моделей в Гуандуне. Среди крупных моделей в Китае более половины крупных моделей имеют открытый исходный код, а университеты/научно-исследовательские институты являются основной силой открытого исходного кода.
Сетевая структура Transformer, выпущенная Google в 2017 году, является исходной технологией для разработки больших моделей. С тех пор технология больших моделей позволила добиться знаковых технологических прорывов в понимании естественного языка, компьютерном зрении и интеллектуальной речи. Способность к обобщению и другие аспекты были достигнуты. скачкообразное развитие. ChatGPT еще больше стимулировал взрывное появление больших языковых моделей, а также привлек большое количество команд исследователей и разработчиков для инвестирования в разработку более крупных моделей, таких как общее видение и мультимодальность. Чжао Чжиюнь сказал, что чуть более чем за пять лет технология крупномасштабных моделей сформировала огромную технологическую группу и создала семейство крупномасштабных моделей, охватывающих различные масштабы параметров, различные технические архитектуры, различные режимы и различные сценарии.
Судя по тенденциям развития глобальных крупномасштабных моделей, такие организации, как Google и OpenAI в Соединенных Штатах, продолжают лидировать в области технологии крупномасштабных моделей, и все больше и больше научно-исследовательских групп в Европе, России, Израиле и т. д. также инвестирует в исследования и разработку крупномасштабных моделей. Судя по распределению крупномасштабных моделей, выпущенных по всему миру, Китай и США лидируют с большим отрывом, на их долю приходится более 80% общемирового объема.США всегда занимали первое место в мире по показателю количество крупномасштабных моделей.Тенденция одновременного роста.
Что касается тенденции развития больших моделей в Китае, Чжао Чжиюнь сказал, что, согласно неполным статистическим данным, на сегодняшний день в Китае было выпущено 79 больших моделей с масштабом более 1 миллиарда параметров, а 14 провинций/регионов проводят исследования и разработки. крупных моделей, в основном в Пекине и провинции Гуандун, в том числе 38 крупных моделей в Пекине и 20 крупных моделей в провинции Гуандун. С точки зрения распределения доменов моделей обработка естественного языка по-прежнему является наиболее активной областью исследований и разработок крупномасштабных моделей, за которой следуют мультимодальные домены, и еще меньше крупномасштабных моделей в области компьютерного зрения и интеллектуального голоса. С точки зрения распределения субъектов исследований и разработок, различные инновационные субъекты, такие как университеты, научно-исследовательские институты и предприятия, участвуют в исследованиях и разработках крупных моделей, а совместных исследований и разработок между академическими кругами и промышленностью по-прежнему недостаточно. «Большие модели быстро развиваются с начала этого года, но мы также наблюдаем тенденцию к сокращению сотрудничества, и нам нужно обратить внимание в следующий раз».
В то же время степень соответствия модели вычислительной мощности высока, а общедоступная вычислительная мощность быстро развивается. Пекин, Гуандун, Чжэцзян, Шанхай и другие места имеют наибольшее количество крупных моделей, и эти четыре места также являются районами с наибольшим количеством покупок серверов искусственного интеллекта за последние три года. Населенные пункты также дополняют быстрорастущий спрос на вычислительную мощность искусственного интеллекта, предоставляя общедоступные вычислительные мощности и предоставляя дополнительную вычислительную мощность для крупномасштабных исследований и разработок моделей.
Талант также является важной опорой искусственного интеллекта. Пекин, Цзянсу, Гуандун, Шанхай и т. д. — это регионы с относительно большим количеством талантов в области крупномасштабных моделей, которые обеспечивают ключевую интеллектуальную поддержку для исследований и разработок крупномасштабных моделей. Однако общее количество талантов по-прежнему невелико. Крупномасштабные модели имеют высокий порог и требуют качественных талантов ИИ. В настоящее время количество талантов крупномасштабных моделей в разных местах недостаточно.
«Благодаря выпуску крупных модельных статей мы видим, что академическое влияние большой модели Китая постепенно формируется. С точки зрения регионального влияния Пекин, Гуандун и Шанхай занимают первое место в стране по количеству статей. и количество цитирований статей. «Чжао Чжиюнь сказал, что модель CogView, разработанная совместно Университетом Цинхуа, Али и Baidu, имеет наибольшее количество цитирований. Однако по сравнению с академическим влиянием зарубежных ведущих крупных моделей все еще существует большой разрыв.
С точки зрения экологии инноваций с открытым исходным кодом, более половины крупных моделей в Китае имеют открытый исходный код, а Пекин, Гуандун и Шанхай входят в тройку лидеров в стране по количеству и влиянию открытого исходного кода. Университеты/научно-исследовательские институты являются основными силами открытого исходного кода.«ChatGLM-6B Университета Цинхуа, MOSS Университета Фудань и серия крупномасштабных моделей Baidu Wenxin оказывают наибольшее влияние на открытый исходный код», — сказал Чжао Чжиюнь.
Промышленное применение китайских крупномасштабных моделей развивается по двум путям: во-первых, непрерывное расширение области применения крупномасштабных моделей общего назначения, крупномасштабная модель быстро развивается для создания межотраслевого общего искусственного интеллекта. платформа возможностей, а ее индустрия приложений ускоряет свое проникновение из офиса, жизни и развлечений в медицину, промышленность и образование. Во-вторых, это постоянное углубление профессиональных крупномасштабных моделей в вертикальных областях.Группа профессиональных крупномасштабных моделей для вертикальных областей, таких как биомедицина и метеорология дистанционного зондирования, в полной мере раскрывает свои глубокие преимущества в этой области и обеспечивает высококачественные профессиональные решения для конкретных бизнес-сценариев.
Выступать за укрепление общего планирования ресурсов и сил исследований и разработок, а также содействовать упорядоченной разработке крупных моделей.
Ввиду отсутствия разработки крупных моделей Чжао Чжиюнь выдвинул 4 предложения и перспективы:
Один из них заключается в усилении общего планирования ресурсов и научно-исследовательских сил для содействия упорядоченной разработке крупных моделей. Укрепляя общее планирование вычислительных ресурсов, таких как интеллектуальные вычислительные центры, суперкомпьютерные центры и центры облачных вычислений, сформулируйте общедоступные каталоги и правила обмена данными, а также содействуйте упорядоченному открытию классификации и классификации данных.
Во-вторых, ускорить фундаментальные исследования и технологические инновации, а также усилить академическое влияние и влияние открытого исходного кода. Технология крупномасштабных моделей все еще находится на ранних стадиях разработки, и существует огромный потенциал для базовой теории и технологических инноваций. Благодаря методам миниатюризации, таким как дистилляция и количественная оценка, модель «уменьшается», что обеспечивает техническую поддержку для миниатюризации и экологичной разработки больших моделей. Дальнейшее укрепление сотрудничества между промышленностью, университетами и исследованиями и поощрение открытого исходного кода больших моделей также ускорит технологический прогресс больших моделей.
В-третьих, усилить ведущую роль сцены в разработке больших моделей и создать эталонный проект для больших моделей. На основе отраслевых обучающих наборов данных создавайте профессиональные большие модели в области финансов, медицинского обслуживания и электроэнергетики и добивайтесь высококачественных прорывов в приложениях в конкретных бизнес-сценариях.Мы также надеемся на обратное продвижение итеративного обновления больших моделей технологии через сценарии приложений и данные приложений.
В-четвертых, укреплять международное сотрудничество и активно участвовать в глобальном управлении искусственным интеллектом. Совместно продвигать управление крупными моделями с ответственным отношением и надеяться, что принципы управления и этические нормы искусственного интеллекта смогут в дальнейшем укорениться во всей цепочке крупных моделей. В то же время укреплять глобальное сотрудничество в области управления искусственным интеллектом на основе растущего консенсуса.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
В Китае выпущено 79 крупномасштабных моделей с более чем 1 миллиардом параметров, сосредоточенных в Пекине и Гуандуне.
Источник: Бумага
Репортер Чжан Цзин
·Согласно неполным статистическим данным, в настоящее время в Китае выпущено 79 крупномасштабных моделей с масштабом более 1 миллиарда параметров, а 14 провинций/регионов проводят исследования и разработки крупномасштабных моделей, в основном сосредоточенных в Пекине. и Гуандун, из которых 38 крупномасштабных моделей в Пекине и 20 крупных моделей в провинции Гуандун. Среди крупных моделей в Китае более половины крупных моделей имеют открытый исходный код, а университеты/научно-исследовательские институты являются основной силой открытого исходного кода.
·Пекин, Цзянсу, Гуандун, Шанхай и т. д. являются районами с относительно большими талантами в области крупномасштабных моделей, обеспечивающими ключевую интеллектуальную поддержку для исследований и разработок крупномасштабных моделей. Однако общее количество талантов по-прежнему невелико. Крупномасштабные модели имеют высокий порог и требуют качественных талантов ИИ. В настоящее время количество талантов крупномасштабных моделей в разных местах недостаточно.
В Китае имеется 79 крупномасштабных моделей с более чем 1 миллиардом параметров, в основном сосредоточенных в Пекине и провинции Гуандун.
28 мая на Форуме по разработке больших моделей искусственного интеллекта, одном из параллельных форумов форума Чжунгуаньцунь 2023 года, Чжао Чжиюнь, директор Китайского института научной и технологической информации, опубликовал «Отчет об исследованиях большой модели искусственного интеллекта в Китае». ". В настоящее время масштаб Китая превышает 1 миллиард параметров. Было выпущено 79 крупномасштабных моделей, в основном в Пекине и Гуандуне, в том числе 38 крупномасштабных моделей в Пекине и 20 крупномасштабных моделей в Гуандуне. Среди крупных моделей в Китае более половины крупных моделей имеют открытый исходный код, а университеты/научно-исследовательские институты являются основной силой открытого исходного кода.
Сетевая структура Transformer, выпущенная Google в 2017 году, является исходной технологией для разработки больших моделей. С тех пор технология больших моделей позволила добиться знаковых технологических прорывов в понимании естественного языка, компьютерном зрении и интеллектуальной речи. Способность к обобщению и другие аспекты были достигнуты. скачкообразное развитие. ChatGPT еще больше стимулировал взрывное появление больших языковых моделей, а также привлек большое количество команд исследователей и разработчиков для инвестирования в разработку более крупных моделей, таких как общее видение и мультимодальность. Чжао Чжиюнь сказал, что чуть более чем за пять лет технология крупномасштабных моделей сформировала огромную технологическую группу и создала семейство крупномасштабных моделей, охватывающих различные масштабы параметров, различные технические архитектуры, различные режимы и различные сценарии.
Судя по тенденциям развития глобальных крупномасштабных моделей, такие организации, как Google и OpenAI в Соединенных Штатах, продолжают лидировать в области технологии крупномасштабных моделей, и все больше и больше научно-исследовательских групп в Европе, России, Израиле и т. д. также инвестирует в исследования и разработку крупномасштабных моделей. Судя по распределению крупномасштабных моделей, выпущенных по всему миру, Китай и США лидируют с большим отрывом, на их долю приходится более 80% общемирового объема.США всегда занимали первое место в мире по показателю количество крупномасштабных моделей.Тенденция одновременного роста.
Что касается тенденции развития больших моделей в Китае, Чжао Чжиюнь сказал, что, согласно неполным статистическим данным, на сегодняшний день в Китае было выпущено 79 больших моделей с масштабом более 1 миллиарда параметров, а 14 провинций/регионов проводят исследования и разработки. крупных моделей, в основном в Пекине и провинции Гуандун, в том числе 38 крупных моделей в Пекине и 20 крупных моделей в провинции Гуандун. С точки зрения распределения доменов моделей обработка естественного языка по-прежнему является наиболее активной областью исследований и разработок крупномасштабных моделей, за которой следуют мультимодальные домены, и еще меньше крупномасштабных моделей в области компьютерного зрения и интеллектуального голоса. С точки зрения распределения субъектов исследований и разработок, различные инновационные субъекты, такие как университеты, научно-исследовательские институты и предприятия, участвуют в исследованиях и разработках крупных моделей, а совместных исследований и разработок между академическими кругами и промышленностью по-прежнему недостаточно. «Большие модели быстро развиваются с начала этого года, но мы также наблюдаем тенденцию к сокращению сотрудничества, и нам нужно обратить внимание в следующий раз».
В то же время степень соответствия модели вычислительной мощности высока, а общедоступная вычислительная мощность быстро развивается. Пекин, Гуандун, Чжэцзян, Шанхай и другие места имеют наибольшее количество крупных моделей, и эти четыре места также являются районами с наибольшим количеством покупок серверов искусственного интеллекта за последние три года. Населенные пункты также дополняют быстрорастущий спрос на вычислительную мощность искусственного интеллекта, предоставляя общедоступные вычислительные мощности и предоставляя дополнительную вычислительную мощность для крупномасштабных исследований и разработок моделей.
Талант также является важной опорой искусственного интеллекта. Пекин, Цзянсу, Гуандун, Шанхай и т. д. — это регионы с относительно большим количеством талантов в области крупномасштабных моделей, которые обеспечивают ключевую интеллектуальную поддержку для исследований и разработок крупномасштабных моделей. Однако общее количество талантов по-прежнему невелико. Крупномасштабные модели имеют высокий порог и требуют качественных талантов ИИ. В настоящее время количество талантов крупномасштабных моделей в разных местах недостаточно.
«Благодаря выпуску крупных модельных статей мы видим, что академическое влияние большой модели Китая постепенно формируется. С точки зрения регионального влияния Пекин, Гуандун и Шанхай занимают первое место в стране по количеству статей. и количество цитирований статей. «Чжао Чжиюнь сказал, что модель CogView, разработанная совместно Университетом Цинхуа, Али и Baidu, имеет наибольшее количество цитирований. Однако по сравнению с академическим влиянием зарубежных ведущих крупных моделей все еще существует большой разрыв.
С точки зрения экологии инноваций с открытым исходным кодом, более половины крупных моделей в Китае имеют открытый исходный код, а Пекин, Гуандун и Шанхай входят в тройку лидеров в стране по количеству и влиянию открытого исходного кода. Университеты/научно-исследовательские институты являются основными силами открытого исходного кода.«ChatGLM-6B Университета Цинхуа, MOSS Университета Фудань и серия крупномасштабных моделей Baidu Wenxin оказывают наибольшее влияние на открытый исходный код», — сказал Чжао Чжиюнь.
Промышленное применение китайских крупномасштабных моделей развивается по двум путям: во-первых, непрерывное расширение области применения крупномасштабных моделей общего назначения, крупномасштабная модель быстро развивается для создания межотраслевого общего искусственного интеллекта. платформа возможностей, а ее индустрия приложений ускоряет свое проникновение из офиса, жизни и развлечений в медицину, промышленность и образование. Во-вторых, это постоянное углубление профессиональных крупномасштабных моделей в вертикальных областях.Группа профессиональных крупномасштабных моделей для вертикальных областей, таких как биомедицина и метеорология дистанционного зондирования, в полной мере раскрывает свои глубокие преимущества в этой области и обеспечивает высококачественные профессиональные решения для конкретных бизнес-сценариев.
Выступать за укрепление общего планирования ресурсов и сил исследований и разработок, а также содействовать упорядоченной разработке крупных моделей.
Ввиду отсутствия разработки крупных моделей Чжао Чжиюнь выдвинул 4 предложения и перспективы:
Один из них заключается в усилении общего планирования ресурсов и научно-исследовательских сил для содействия упорядоченной разработке крупных моделей. Укрепляя общее планирование вычислительных ресурсов, таких как интеллектуальные вычислительные центры, суперкомпьютерные центры и центры облачных вычислений, сформулируйте общедоступные каталоги и правила обмена данными, а также содействуйте упорядоченному открытию классификации и классификации данных.
Во-вторых, ускорить фундаментальные исследования и технологические инновации, а также усилить академическое влияние и влияние открытого исходного кода. Технология крупномасштабных моделей все еще находится на ранних стадиях разработки, и существует огромный потенциал для базовой теории и технологических инноваций. Благодаря методам миниатюризации, таким как дистилляция и количественная оценка, модель «уменьшается», что обеспечивает техническую поддержку для миниатюризации и экологичной разработки больших моделей. Дальнейшее укрепление сотрудничества между промышленностью, университетами и исследованиями и поощрение открытого исходного кода больших моделей также ускорит технологический прогресс больших моделей.
В-третьих, усилить ведущую роль сцены в разработке больших моделей и создать эталонный проект для больших моделей. На основе отраслевых обучающих наборов данных создавайте профессиональные большие модели в области финансов, медицинского обслуживания и электроэнергетики и добивайтесь высококачественных прорывов в приложениях в конкретных бизнес-сценариях.Мы также надеемся на обратное продвижение итеративного обновления больших моделей технологии через сценарии приложений и данные приложений.
В-четвертых, укреплять международное сотрудничество и активно участвовать в глобальном управлении искусственным интеллектом. Совместно продвигать управление крупными моделями с ответственным отношением и надеяться, что принципы управления и этические нормы искусственного интеллекта смогут в дальнейшем укорениться во всей цепочке крупных моделей. В то же время укреплять глобальное сотрудничество в области управления искусственным интеллектом на основе растущего консенсуса.