De acordo com estatísticas incompletas, atualmente, 79 modelos de grande escala com uma escala de mais de 1 bilhão de parâmetros foram lançados na China, e 14 províncias/regiões estão realizando pesquisa e desenvolvimento de modelos de grande escala, concentrados principalmente em Pequim e Guangdong, dos quais 38 modelos em grande escala em Pequim e 20 em modelo grande de Guangdong. Entre os grandes modelos na China, mais da metade dos grandes modelos são de código aberto, e as universidades/instituições de pesquisa científica são a principal força do código aberto.
·Pequim, Jiangsu, Guangdong, Xangai, etc. são áreas com talentos de modelos de grande escala relativamente grandes, fornecendo suporte intelectual essencial para pesquisa e desenvolvimento de modelos de grande escala. No entanto, a quantidade total de talentos ainda é escassa. Os modelos de grande escala têm um limite alto e exigem talentos de IA de alta qualidade. No momento, o número de talentos de modelos de grande escala em vários lugares é insuficiente.
Fonte da imagem: Gerada pela ferramenta Unbounded AI
Existem 79 modelos de grande escala com mais de 1 bilhão de parâmetros na China, concentrados principalmente em Pequim e Guangdong.
Em 28 de maio, no Fórum de Desenvolvimento de Grandes Modelos de Inteligência Artificial, um dos fóruns paralelos do Fórum Zhongguancun 2023, Zhao Zhiyun, diretor do Instituto Chinês de Informações Científicas e Tecnológicas, divulgou o "Relatório de Pesquisa sobre o Mapa de Grandes Modelos de Inteligência Artificial da China ". Atualmente, a escala da China de mais de 1 bilhão de parâmetros 79 modelos em grande escala foram lançados, principalmente em Pequim e Guangdong, incluindo 38 modelos em grande escala em Pequim e 20 modelos em grande escala em Guangdong. Entre os grandes modelos na China, mais da metade dos grandes modelos são de código aberto, e as universidades/instituições de pesquisa científica são a principal força do código aberto.
A estrutura de rede Transformer lançada pelo Google em 2017 é a tecnologia de origem para o desenvolvimento de modelos grandes. Desde então, a tecnologia de modelos grandes alcançou avanços tecnológicos icônicos na compreensão da linguagem natural, visão computacional e fala inteligente. A capacidade de generalização e outros aspectos alcançaram salto de desenvolvimento. O ChatGPT estimulou ainda mais o surgimento explosivo de grandes modelos de linguagem e também atraiu um grande número de equipes de P&D para investir no desenvolvimento de modelos mais amplos, como visão geral e multimodalidade. Zhao Zhiyun disse que em pouco mais de cinco anos, a tecnologia de modelos em grande escala formou um enorme grupo de tecnologia e derivou uma família de modelos em grande escala cobrindo várias escalas de parâmetros, várias arquiteturas técnicas, vários modos e vários cenários.
A julgar pela tendência de desenvolvimento de modelos globais de grande escala, organizações como Google e OpenAI nos Estados Unidos continuam a liderar a vanguarda da tecnologia de modelos de grande escala, e cada vez mais equipes de P&D na Europa, Rússia, Israel, etc. investindo também na pesquisa e desenvolvimento de modelos em grande escala. A julgar pela distribuição de modelos em grande escala lançados em todo o mundo, a China e os Estados Unidos lideram por uma grande margem, respondendo por mais de 80% do total global. Os Estados Unidos sempre foram os primeiros classificados do mundo em termos de o número de modelos em grande escala.Tendência de crescimento simultâneo.
Na tendência de desenvolvimento de grandes modelos na China, Zhao Zhiyun disse que, de acordo com estatísticas incompletas, 79 grandes modelos com uma escala de mais de 1 bilhão de parâmetros foram lançados na China até agora e 14 províncias/regiões estão realizando pesquisa e desenvolvimento de modelos grandes, principalmente em Pequim e Guangdong, incluindo 38 modelos grandes em Pequim e 20 modelos grandes em Guangdong. Em termos de distribuição de domínio de modelo, o processamento de linguagem natural ainda é a área de foco mais ativa para pesquisa e desenvolvimento de modelos em grande escala, seguido por domínios multimodais, e ainda há menos modelos em grande escala nos campos de visão computacional e voz inteligente. Em termos de distribuição de assuntos de pesquisa e desenvolvimento, diferentes assuntos de inovação, como universidades, instituições de pesquisa científica e empresas, estão todos participando da pesquisa e desenvolvimento de grandes modelos, e a pesquisa e desenvolvimento conjuntos entre academia e indústria ainda são insuficientes. “Grandes modelos vêm se desenvolvendo rapidamente desde o início deste ano, mas também observamos uma tendência de redução da cooperação e precisamos prestar atenção a seguir”.
Ao mesmo tempo, o grau de correspondência do modelo de poder de computação é alto e o poder de computação público está se desenvolvendo rapidamente. Pequim, Guangdong, Zhejiang, Xangai e outros lugares têm o maior número de modelos grandes, e esses quatro lugares também são as áreas com as maiores compras de servidores de inteligência artificial nos últimos três anos. As localidades também estão suplementando a demanda crescente por poder de computação de inteligência artificial, fornecendo poder de computação público e fornecendo mais suporte de poder de computação para pesquisa e desenvolvimento de modelos em larga escala.
O talento também é um pilar importante da inteligência artificial. Pequim, Jiangsu, Guangdong, Xangai, etc. são regiões com um número relativamente grande de talentos em modelos de grande escala, fornecendo suporte intelectual essencial para pesquisa e desenvolvimento de modelos em grande escala. No entanto, a quantidade total de talentos ainda é escassa. Os modelos de grande escala têm um limite alto e exigem talentos de IA de alta qualidade. No momento, o número de talentos de modelos de grande escala em vários lugares é insuficiente.
"Através do lançamento de grandes modelos de documentos, podemos ver que a influência acadêmica do grande modelo da China está se formando gradualmente. Do ponto de vista da influência regional, Pequim, Guangdong e Xangai são os mais altos do país em termos de número de documentos. e o número de citações de artigos. "Zhao Zhiyun disse que o artigo do modelo CogView desenvolvido em conjunto pela Universidade de Tsinghua, Ali e Baidu tem o maior número de citações. No entanto, em comparação com a influência acadêmica de grandes modelos estrangeiros, ainda há uma grande lacuna.
Do ponto de vista da ecologia da inovação de código aberto, mais da metade dos grandes modelos na China são de código aberto, e Pequim, Guangdong e Xangai estão entre os três primeiros no país em termos de número e influência de código aberto. Universidades/instituições de pesquisa científica são as principais forças do código aberto. "ChatGLM-6B da Universidade Tsinghua, MOSS da Universidade Fudan e a série Wenxin de modelos de grande escala da Baidu têm a maior influência no código aberto", disse Zhao Zhiyun.
A aplicação industrial de modelos de grande escala chineses se desenvolve em dois caminhos. O primeiro é a expansão contínua do campo de aplicação de modelos de grande escala de uso geral. O modelo de grande escala está se desenvolvendo rapidamente para criar uma inteligência artificial geral intersetorial plataforma de capacidade e seu setor de aplicativos está acelerando sua penetração de escritório, vida e entretenimento para assistência médica, indústria e educação. O segundo é o aprofundamento contínuo dos modelos profissionais de grande escala em campos verticais. soluções para cenários de negócios específicos.
Defender o fortalecimento do planejamento geral de recursos e forças de pesquisa e desenvolvimento e promover o desenvolvimento ordenado de grandes modelos.
Tendo em vista a falta de desenvolvimento de grandes modelos, Zhao Zhiyun apresentou 4 sugestões e perspectivas:
Uma delas é fortalecer o planejamento geral de recursos e forças de pesquisa e desenvolvimento para promover o desenvolvimento ordenado de grandes modelos. Ao fortalecer o planejamento geral de recursos de computação, como centros de computação inteligentes, centros de supercomputação e centros de computação em nuvem, formule catálogos de compartilhamento de dados públicos e regras de compartilhamento e promova a abertura ordenada da classificação e classificação de dados.
A segunda é acelerar a pesquisa básica e a inovação tecnológica e aumentar a influência acadêmica e de código aberto. A tecnologia de modelos em larga escala ainda está nos estágios iniciais de desenvolvimento e há um enorme potencial para teoria básica e inovação tecnológica. Por meio de técnicas de miniaturização, como destilação e quantificação, o modelo é "emagrecido", fornecendo suporte técnico para a miniaturização e desenvolvimento verde de grandes modelos. Fortalecer ainda mais a cooperação indústria-universidade-pesquisa e incentivar o código aberto de grandes modelos também acelerará o progresso tecnológico de grandes modelos.
A terceira é fortalecer o protagonismo da cena no desenvolvimento de grandes modelos, e criar um projeto de referência para grandes modelos. Com base em conjuntos de dados de treinamento específicos do setor, crie grandes modelos profissionais nas áreas de finanças, assistência médica e energia elétrica e obtenha avanços de aplicativos de alta qualidade em cenários de negócios específicos. Também esperamos promover reversamente a atualização iterativa de modelos grandes tecnologia por meio de cenários de aplicativos e dados de aplicativos.
A quarta é fortalecer a cooperação internacional e participar ativamente da governança global de inteligência artificial. Promover conjuntamente a governança de grandes modelos com uma atitude responsável e esperar que os princípios de governança e as normas éticas da inteligência artificial possam se enraizar ainda mais em toda a cadeia de grandes modelos. Ao mesmo tempo, fortalecer a cooperação global na governança de inteligência artificial com base no aumento do consenso.
Ver original
O conteúdo serve apenas de referência e não constitui uma solicitação ou oferta. Não é prestado qualquer aconselhamento em matéria de investimento, fiscal ou jurídica. Consulte a Declaração de exoneração de responsabilidade para obter mais informações sobre os riscos.
79 modelos de grande escala com mais de 1 bilhão de parâmetros foram lançados na China, concentrados em Pequim e Guangdong
Fonte: O Papel See More
Repórter Zhang Jing
De acordo com estatísticas incompletas, atualmente, 79 modelos de grande escala com uma escala de mais de 1 bilhão de parâmetros foram lançados na China, e 14 províncias/regiões estão realizando pesquisa e desenvolvimento de modelos de grande escala, concentrados principalmente em Pequim e Guangdong, dos quais 38 modelos em grande escala em Pequim e 20 em modelo grande de Guangdong. Entre os grandes modelos na China, mais da metade dos grandes modelos são de código aberto, e as universidades/instituições de pesquisa científica são a principal força do código aberto.
·Pequim, Jiangsu, Guangdong, Xangai, etc. são áreas com talentos de modelos de grande escala relativamente grandes, fornecendo suporte intelectual essencial para pesquisa e desenvolvimento de modelos de grande escala. No entanto, a quantidade total de talentos ainda é escassa. Os modelos de grande escala têm um limite alto e exigem talentos de IA de alta qualidade. No momento, o número de talentos de modelos de grande escala em vários lugares é insuficiente.
Existem 79 modelos de grande escala com mais de 1 bilhão de parâmetros na China, concentrados principalmente em Pequim e Guangdong.
Em 28 de maio, no Fórum de Desenvolvimento de Grandes Modelos de Inteligência Artificial, um dos fóruns paralelos do Fórum Zhongguancun 2023, Zhao Zhiyun, diretor do Instituto Chinês de Informações Científicas e Tecnológicas, divulgou o "Relatório de Pesquisa sobre o Mapa de Grandes Modelos de Inteligência Artificial da China ". Atualmente, a escala da China de mais de 1 bilhão de parâmetros 79 modelos em grande escala foram lançados, principalmente em Pequim e Guangdong, incluindo 38 modelos em grande escala em Pequim e 20 modelos em grande escala em Guangdong. Entre os grandes modelos na China, mais da metade dos grandes modelos são de código aberto, e as universidades/instituições de pesquisa científica são a principal força do código aberto.
A estrutura de rede Transformer lançada pelo Google em 2017 é a tecnologia de origem para o desenvolvimento de modelos grandes. Desde então, a tecnologia de modelos grandes alcançou avanços tecnológicos icônicos na compreensão da linguagem natural, visão computacional e fala inteligente. A capacidade de generalização e outros aspectos alcançaram salto de desenvolvimento. O ChatGPT estimulou ainda mais o surgimento explosivo de grandes modelos de linguagem e também atraiu um grande número de equipes de P&D para investir no desenvolvimento de modelos mais amplos, como visão geral e multimodalidade. Zhao Zhiyun disse que em pouco mais de cinco anos, a tecnologia de modelos em grande escala formou um enorme grupo de tecnologia e derivou uma família de modelos em grande escala cobrindo várias escalas de parâmetros, várias arquiteturas técnicas, vários modos e vários cenários.
A julgar pela tendência de desenvolvimento de modelos globais de grande escala, organizações como Google e OpenAI nos Estados Unidos continuam a liderar a vanguarda da tecnologia de modelos de grande escala, e cada vez mais equipes de P&D na Europa, Rússia, Israel, etc. investindo também na pesquisa e desenvolvimento de modelos em grande escala. A julgar pela distribuição de modelos em grande escala lançados em todo o mundo, a China e os Estados Unidos lideram por uma grande margem, respondendo por mais de 80% do total global. Os Estados Unidos sempre foram os primeiros classificados do mundo em termos de o número de modelos em grande escala.Tendência de crescimento simultâneo.
Na tendência de desenvolvimento de grandes modelos na China, Zhao Zhiyun disse que, de acordo com estatísticas incompletas, 79 grandes modelos com uma escala de mais de 1 bilhão de parâmetros foram lançados na China até agora e 14 províncias/regiões estão realizando pesquisa e desenvolvimento de modelos grandes, principalmente em Pequim e Guangdong, incluindo 38 modelos grandes em Pequim e 20 modelos grandes em Guangdong. Em termos de distribuição de domínio de modelo, o processamento de linguagem natural ainda é a área de foco mais ativa para pesquisa e desenvolvimento de modelos em grande escala, seguido por domínios multimodais, e ainda há menos modelos em grande escala nos campos de visão computacional e voz inteligente. Em termos de distribuição de assuntos de pesquisa e desenvolvimento, diferentes assuntos de inovação, como universidades, instituições de pesquisa científica e empresas, estão todos participando da pesquisa e desenvolvimento de grandes modelos, e a pesquisa e desenvolvimento conjuntos entre academia e indústria ainda são insuficientes. “Grandes modelos vêm se desenvolvendo rapidamente desde o início deste ano, mas também observamos uma tendência de redução da cooperação e precisamos prestar atenção a seguir”.
Ao mesmo tempo, o grau de correspondência do modelo de poder de computação é alto e o poder de computação público está se desenvolvendo rapidamente. Pequim, Guangdong, Zhejiang, Xangai e outros lugares têm o maior número de modelos grandes, e esses quatro lugares também são as áreas com as maiores compras de servidores de inteligência artificial nos últimos três anos. As localidades também estão suplementando a demanda crescente por poder de computação de inteligência artificial, fornecendo poder de computação público e fornecendo mais suporte de poder de computação para pesquisa e desenvolvimento de modelos em larga escala.
O talento também é um pilar importante da inteligência artificial. Pequim, Jiangsu, Guangdong, Xangai, etc. são regiões com um número relativamente grande de talentos em modelos de grande escala, fornecendo suporte intelectual essencial para pesquisa e desenvolvimento de modelos em grande escala. No entanto, a quantidade total de talentos ainda é escassa. Os modelos de grande escala têm um limite alto e exigem talentos de IA de alta qualidade. No momento, o número de talentos de modelos de grande escala em vários lugares é insuficiente.
"Através do lançamento de grandes modelos de documentos, podemos ver que a influência acadêmica do grande modelo da China está se formando gradualmente. Do ponto de vista da influência regional, Pequim, Guangdong e Xangai são os mais altos do país em termos de número de documentos. e o número de citações de artigos. "Zhao Zhiyun disse que o artigo do modelo CogView desenvolvido em conjunto pela Universidade de Tsinghua, Ali e Baidu tem o maior número de citações. No entanto, em comparação com a influência acadêmica de grandes modelos estrangeiros, ainda há uma grande lacuna.
Do ponto de vista da ecologia da inovação de código aberto, mais da metade dos grandes modelos na China são de código aberto, e Pequim, Guangdong e Xangai estão entre os três primeiros no país em termos de número e influência de código aberto. Universidades/instituições de pesquisa científica são as principais forças do código aberto. "ChatGLM-6B da Universidade Tsinghua, MOSS da Universidade Fudan e a série Wenxin de modelos de grande escala da Baidu têm a maior influência no código aberto", disse Zhao Zhiyun.
A aplicação industrial de modelos de grande escala chineses se desenvolve em dois caminhos. O primeiro é a expansão contínua do campo de aplicação de modelos de grande escala de uso geral. O modelo de grande escala está se desenvolvendo rapidamente para criar uma inteligência artificial geral intersetorial plataforma de capacidade e seu setor de aplicativos está acelerando sua penetração de escritório, vida e entretenimento para assistência médica, indústria e educação. O segundo é o aprofundamento contínuo dos modelos profissionais de grande escala em campos verticais. soluções para cenários de negócios específicos.
Defender o fortalecimento do planejamento geral de recursos e forças de pesquisa e desenvolvimento e promover o desenvolvimento ordenado de grandes modelos.
Tendo em vista a falta de desenvolvimento de grandes modelos, Zhao Zhiyun apresentou 4 sugestões e perspectivas:
Uma delas é fortalecer o planejamento geral de recursos e forças de pesquisa e desenvolvimento para promover o desenvolvimento ordenado de grandes modelos. Ao fortalecer o planejamento geral de recursos de computação, como centros de computação inteligentes, centros de supercomputação e centros de computação em nuvem, formule catálogos de compartilhamento de dados públicos e regras de compartilhamento e promova a abertura ordenada da classificação e classificação de dados.
A segunda é acelerar a pesquisa básica e a inovação tecnológica e aumentar a influência acadêmica e de código aberto. A tecnologia de modelos em larga escala ainda está nos estágios iniciais de desenvolvimento e há um enorme potencial para teoria básica e inovação tecnológica. Por meio de técnicas de miniaturização, como destilação e quantificação, o modelo é "emagrecido", fornecendo suporte técnico para a miniaturização e desenvolvimento verde de grandes modelos. Fortalecer ainda mais a cooperação indústria-universidade-pesquisa e incentivar o código aberto de grandes modelos também acelerará o progresso tecnológico de grandes modelos.
A terceira é fortalecer o protagonismo da cena no desenvolvimento de grandes modelos, e criar um projeto de referência para grandes modelos. Com base em conjuntos de dados de treinamento específicos do setor, crie grandes modelos profissionais nas áreas de finanças, assistência médica e energia elétrica e obtenha avanços de aplicativos de alta qualidade em cenários de negócios específicos. Também esperamos promover reversamente a atualização iterativa de modelos grandes tecnologia por meio de cenários de aplicativos e dados de aplicativos.
A quarta é fortalecer a cooperação internacional e participar ativamente da governança global de inteligência artificial. Promover conjuntamente a governança de grandes modelos com uma atitude responsável e esperar que os princípios de governança e as normas éticas da inteligência artificial possam se enraizar ainda mais em toda a cadeia de grandes modelos. Ao mesmo tempo, fortalecer a cooperação global na governança de inteligência artificial com base no aumento do consenso.