Según estadísticas incompletas, en la actualidad, se han lanzado en China 79 modelos a gran escala con una escala de más de mil millones de parámetros, y 14 provincias/regiones están llevando a cabo investigación y desarrollo de modelos a gran escala, concentrados principalmente en Beijing y Guangdong, de los cuales 38 modelos a gran escala en Beijing y 20 en modelo grande de Guangdong. Entre los grandes modelos en China, más de la mitad de los grandes modelos han sido de código abierto, y las universidades/instituciones de investigación científica son la fuerza principal del código abierto.
·Beijing, Jiangsu, Guangdong, Shanghái, etc. son áreas con talentos de modelos a gran escala relativamente grandes, que brindan un apoyo intelectual clave para la investigación y el desarrollo de modelos a gran escala. Sin embargo, la cantidad total de talentos aún es escasa. Los modelos a gran escala tienen un umbral alto y requieren talentos de inteligencia artificial de alta calidad. En la actualidad, la cantidad de talentos de modelos a gran escala en varios lugares es insuficiente.
Fuente de la imagen: Generada por la herramienta de IA Unbounded
Hay 79 modelos a gran escala con más de mil millones de parámetros en China, concentrados principalmente en Beijing y Guangdong.
El 28 de mayo, en el Foro de Desarrollo de Modelos Grandes de Inteligencia Artificial, uno de los foros paralelos del Foro Zhongguancun 2023, Zhao Zhiyun, director del Instituto de Información Científica y Tecnológica de China, publicó el "Informe de Investigación sobre el Mapa de Modelos Grandes de Inteligencia Artificial de China". ". En la actualidad, la escala de China de más de mil millones de parámetros se han lanzado 79 modelos a gran escala, principalmente en Beijing y Guangdong, incluidos 38 modelos a gran escala en Beijing y 20 modelos a gran escala en Guangdong. Entre los grandes modelos en China, más de la mitad de los grandes modelos han sido de código abierto, y las universidades/instituciones de investigación científica son la fuerza principal del código abierto.
La estructura de red Transformer lanzada por Google en 2017 es la tecnología de origen para el desarrollo de modelos grandes. Desde entonces, la tecnología de modelos grandes ha logrado avances tecnológicos icónicos en la comprensión del lenguaje natural, la visión por computadora y el habla inteligente. La capacidad de generalización y otros aspectos han logrado desarrollo a saltos. ChatGPT ha estimulado aún más la aparición explosiva de grandes modelos lingüísticos y también ha atraído a un gran número de equipos de I+D para invertir en el desarrollo de modelos más grandes, como visión general y multimodalidad. Zhao Zhiyun dijo que en poco más de cinco años, la tecnología de modelos a gran escala ha formado un gran grupo tecnológico y ha derivado en una familia de modelos a gran escala que cubre varias escalas de parámetros, varias arquitecturas técnicas, varios modos y varios escenarios.
A juzgar por la tendencia de desarrollo de modelos globales a gran escala, organizaciones como Google y OpenAI en los Estados Unidos continúan liderando la vanguardia de la tecnología de modelos a gran escala, y cada vez más equipos de I + D en Europa, Rusia, Israel, etc. invirtiendo también en la investigación y desarrollo de modelos a gran escala. A juzgar por la distribución de modelos a gran escala lanzados en todo el mundo, China y Estados Unidos lideran por un amplio margen, representando más del 80% del total mundial.Estados Unidos siempre se ha clasificado como el más alto del mundo en términos de el número de modelos a gran escala Tendencia de crecimiento simultáneo.
En la tendencia de desarrollo de modelos grandes en China, Zhao Zhiyun dijo que, según estadísticas incompletas, hasta ahora se han lanzado en China 79 modelos grandes con una escala de más de mil millones de parámetros, y 14 provincias/regiones están llevando a cabo investigación y desarrollo. de modelos grandes, principalmente en Beijing y Guangdong, incluidos 38 modelos grandes en Beijing y 20 modelos grandes en Guangdong. En cuanto a la distribución de campos modelo, el procesamiento del lenguaje natural sigue siendo el campo clave más activo de investigación y desarrollo de modelos a gran escala, seguido del campo multimodal, y todavía hay pocos modelos a gran escala en campos como la informática. visión y habla inteligente. En cuanto a la distribución de los temas de investigación y desarrollo, diferentes temas de innovación, como universidades, instituciones de investigación científica y empresas, participan en la investigación y el desarrollo de modelos grandes, y la investigación y el desarrollo conjuntos entre la academia y la industria aún son insuficientes. "Los modelos grandes se han desarrollado rápidamente desde principios de este año, pero también hemos observado una tendencia a la reducción de la cooperación y debemos prestar atención a continuación".
Al mismo tiempo, el grado de coincidencia del modelo de poder de cómputo es alto y el poder de cómputo público se está desarrollando rápidamente. Beijing, Guangdong, Zhejiang, Shanghai y otros lugares tienen la mayor cantidad de modelos grandes, y estos cuatro lugares también son las regiones con las compras más altas de servidores de inteligencia artificial en los últimos tres años. Las localidades también están complementando la creciente demanda de poder de cómputo de inteligencia artificial al proporcionar poder de cómputo público y brindar más soporte de poder de cómputo para la investigación y el desarrollo de modelos a gran escala.
El talento también es un pilar importante de la inteligencia artificial. Beijing, Jiangsu, Guangdong, Shanghai, etc. son regiones con una cantidad relativamente grande de talentos de modelos a gran escala, que brindan un apoyo intelectual clave para la investigación y el desarrollo de modelos a gran escala. Sin embargo, la cantidad total de talentos aún es escasa. Los modelos a gran escala tienen un umbral alto y requieren talentos de inteligencia artificial de alta calidad. En la actualidad, la cantidad de talentos de modelos a gran escala en varios lugares es insuficiente.
"A través de la publicación de documentos modelo grandes, podemos ver que la influencia académica del modelo grande de China se está formando gradualmente. Desde la perspectiva de la influencia regional, Beijing, Guangdong y Shanghái son los más altos del país en términos de número de documentos. y el número de citas en el artículo ". Zhao Zhiyun dijo que el artículo modelo CogView desarrollado conjuntamente por la Universidad de Tsinghua, Ali y Baidu tiene el mayor número de citas. Sin embargo, en comparación con la influencia académica de los grandes modelos líderes extranjeros, todavía hay una gran brecha.
Desde la perspectiva de la ecología de la innovación de fuente abierta, más de la mitad de los grandes modelos en China han sido de fuente abierta, y Beijing, Guangdong y Shanghái se encuentran entre los tres primeros del país en términos de número e influencia de fuente abierta. Las universidades/instituciones de investigación científica son las principales fuerzas del código abierto."ChatGLM-6B de la Universidad de Tsinghua, MOSS de la Universidad de Fudan y la serie Wenxin de Baidu de modelos a gran escala tienen la mayor influencia en el código abierto", dijo Zhao Zhiyun.
La aplicación industrial de los modelos chinos a gran escala se desarrolla a lo largo de dos caminos. El primero es la expansión continua del campo de aplicación de los modelos a gran escala de propósito general. El modelo a gran escala se está desarrollando rápidamente para crear una inteligencia artificial general entre industrias. plataforma de capacidad y su industria de aplicaciones está acelerando su penetración desde la oficina, la vida y el entretenimiento hasta la atención médica, la industria y la educación. El segundo es la profundización continua de modelos profesionales a gran escala en campos verticales. Un grupo de modelos profesionales a gran escala para campos verticales como la biomedicina y la meteorología de teledetección aprovechan al máximo sus profundas ventajas en el campo y brindan servicios profesionales de alta calidad. soluciones para escenarios de negocio específicos.
Abogar por fortalecer la planificación general de los recursos y las fuerzas de investigación y desarrollo, y promover el desarrollo ordenado de grandes modelos.
En vista de la falta de desarrollo de modelos grandes, Zhao Zhiyun presentó 4 sugerencias y perspectivas:
Una es fortalecer la planificación general de los recursos y las fuerzas de investigación y desarrollo para promover el desarrollo ordenado de modelos grandes. Al fortalecer la planificación general de los recursos informáticos, como los centros de computación inteligente, los centros de supercomputación y los centros de computación en la nube, formular catálogos públicos de intercambio de datos y reglas de intercambio, y promover la apertura ordenada de la clasificación y clasificación de datos.
El segundo es acelerar la investigación básica y la innovación tecnológica, y mejorar la influencia académica y de código abierto. La tecnología de modelos a gran escala aún se encuentra en las primeras etapas de desarrollo y existe un enorme potencial para la teoría básica y la innovación tecnológica. A través de técnicas de miniaturización como la destilación y la cuantificación, el modelo se "adelgaza", brindando soporte técnico para la miniaturización y el desarrollo ecológico de modelos grandes. Fortalecer aún más la cooperación entre la industria, la universidad y la investigación y fomentar el código abierto de modelos grandes también acelerará el progreso tecnológico de los modelos grandes.
El tercero es fortalecer el papel de liderazgo de la escena en el desarrollo de modelos grandes y crear un proyecto de referencia para modelos grandes. Con base en conjuntos de datos de capacitación específicos de la industria, construya grandes modelos profesionales en los campos de finanzas, atención médica y energía eléctrica, y logre avances de alta calidad en aplicaciones en escenarios comerciales específicos. También esperamos promover inversamente la actualización iterativa de modelos grandes tecnología a través de escenarios de aplicación y datos de aplicación.
El cuarto es fortalecer la cooperación internacional y participar activamente en la gobernanza global de la inteligencia artificial. Promover conjuntamente la gobernanza de modelos grandes con una actitud responsable y esperar que los principios de gobernanza y las normas éticas de la inteligencia artificial puedan arraigarse aún más en toda la cadena de modelos grandes. Al mismo tiempo, fortalecer la cooperación mundial sobre la gobernanza de la inteligencia artificial sobre la base de un consenso cada vez mayor.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Se han lanzado 79 modelos a gran escala con más de mil millones de parámetros en China, concentrados en Beijing y Guangdong.
Fuente: El Papel
reportero zhang jing
Según estadísticas incompletas, en la actualidad, se han lanzado en China 79 modelos a gran escala con una escala de más de mil millones de parámetros, y 14 provincias/regiones están llevando a cabo investigación y desarrollo de modelos a gran escala, concentrados principalmente en Beijing y Guangdong, de los cuales 38 modelos a gran escala en Beijing y 20 en modelo grande de Guangdong. Entre los grandes modelos en China, más de la mitad de los grandes modelos han sido de código abierto, y las universidades/instituciones de investigación científica son la fuerza principal del código abierto.
·Beijing, Jiangsu, Guangdong, Shanghái, etc. son áreas con talentos de modelos a gran escala relativamente grandes, que brindan un apoyo intelectual clave para la investigación y el desarrollo de modelos a gran escala. Sin embargo, la cantidad total de talentos aún es escasa. Los modelos a gran escala tienen un umbral alto y requieren talentos de inteligencia artificial de alta calidad. En la actualidad, la cantidad de talentos de modelos a gran escala en varios lugares es insuficiente.
Hay 79 modelos a gran escala con más de mil millones de parámetros en China, concentrados principalmente en Beijing y Guangdong.
El 28 de mayo, en el Foro de Desarrollo de Modelos Grandes de Inteligencia Artificial, uno de los foros paralelos del Foro Zhongguancun 2023, Zhao Zhiyun, director del Instituto de Información Científica y Tecnológica de China, publicó el "Informe de Investigación sobre el Mapa de Modelos Grandes de Inteligencia Artificial de China". ". En la actualidad, la escala de China de más de mil millones de parámetros se han lanzado 79 modelos a gran escala, principalmente en Beijing y Guangdong, incluidos 38 modelos a gran escala en Beijing y 20 modelos a gran escala en Guangdong. Entre los grandes modelos en China, más de la mitad de los grandes modelos han sido de código abierto, y las universidades/instituciones de investigación científica son la fuerza principal del código abierto.
La estructura de red Transformer lanzada por Google en 2017 es la tecnología de origen para el desarrollo de modelos grandes. Desde entonces, la tecnología de modelos grandes ha logrado avances tecnológicos icónicos en la comprensión del lenguaje natural, la visión por computadora y el habla inteligente. La capacidad de generalización y otros aspectos han logrado desarrollo a saltos. ChatGPT ha estimulado aún más la aparición explosiva de grandes modelos lingüísticos y también ha atraído a un gran número de equipos de I+D para invertir en el desarrollo de modelos más grandes, como visión general y multimodalidad. Zhao Zhiyun dijo que en poco más de cinco años, la tecnología de modelos a gran escala ha formado un gran grupo tecnológico y ha derivado en una familia de modelos a gran escala que cubre varias escalas de parámetros, varias arquitecturas técnicas, varios modos y varios escenarios.
A juzgar por la tendencia de desarrollo de modelos globales a gran escala, organizaciones como Google y OpenAI en los Estados Unidos continúan liderando la vanguardia de la tecnología de modelos a gran escala, y cada vez más equipos de I + D en Europa, Rusia, Israel, etc. invirtiendo también en la investigación y desarrollo de modelos a gran escala. A juzgar por la distribución de modelos a gran escala lanzados en todo el mundo, China y Estados Unidos lideran por un amplio margen, representando más del 80% del total mundial.Estados Unidos siempre se ha clasificado como el más alto del mundo en términos de el número de modelos a gran escala Tendencia de crecimiento simultáneo.
En la tendencia de desarrollo de modelos grandes en China, Zhao Zhiyun dijo que, según estadísticas incompletas, hasta ahora se han lanzado en China 79 modelos grandes con una escala de más de mil millones de parámetros, y 14 provincias/regiones están llevando a cabo investigación y desarrollo. de modelos grandes, principalmente en Beijing y Guangdong, incluidos 38 modelos grandes en Beijing y 20 modelos grandes en Guangdong. En cuanto a la distribución de campos modelo, el procesamiento del lenguaje natural sigue siendo el campo clave más activo de investigación y desarrollo de modelos a gran escala, seguido del campo multimodal, y todavía hay pocos modelos a gran escala en campos como la informática. visión y habla inteligente. En cuanto a la distribución de los temas de investigación y desarrollo, diferentes temas de innovación, como universidades, instituciones de investigación científica y empresas, participan en la investigación y el desarrollo de modelos grandes, y la investigación y el desarrollo conjuntos entre la academia y la industria aún son insuficientes. "Los modelos grandes se han desarrollado rápidamente desde principios de este año, pero también hemos observado una tendencia a la reducción de la cooperación y debemos prestar atención a continuación".
Al mismo tiempo, el grado de coincidencia del modelo de poder de cómputo es alto y el poder de cómputo público se está desarrollando rápidamente. Beijing, Guangdong, Zhejiang, Shanghai y otros lugares tienen la mayor cantidad de modelos grandes, y estos cuatro lugares también son las regiones con las compras más altas de servidores de inteligencia artificial en los últimos tres años. Las localidades también están complementando la creciente demanda de poder de cómputo de inteligencia artificial al proporcionar poder de cómputo público y brindar más soporte de poder de cómputo para la investigación y el desarrollo de modelos a gran escala.
El talento también es un pilar importante de la inteligencia artificial. Beijing, Jiangsu, Guangdong, Shanghai, etc. son regiones con una cantidad relativamente grande de talentos de modelos a gran escala, que brindan un apoyo intelectual clave para la investigación y el desarrollo de modelos a gran escala. Sin embargo, la cantidad total de talentos aún es escasa. Los modelos a gran escala tienen un umbral alto y requieren talentos de inteligencia artificial de alta calidad. En la actualidad, la cantidad de talentos de modelos a gran escala en varios lugares es insuficiente.
"A través de la publicación de documentos modelo grandes, podemos ver que la influencia académica del modelo grande de China se está formando gradualmente. Desde la perspectiva de la influencia regional, Beijing, Guangdong y Shanghái son los más altos del país en términos de número de documentos. y el número de citas en el artículo ". Zhao Zhiyun dijo que el artículo modelo CogView desarrollado conjuntamente por la Universidad de Tsinghua, Ali y Baidu tiene el mayor número de citas. Sin embargo, en comparación con la influencia académica de los grandes modelos líderes extranjeros, todavía hay una gran brecha.
Desde la perspectiva de la ecología de la innovación de fuente abierta, más de la mitad de los grandes modelos en China han sido de fuente abierta, y Beijing, Guangdong y Shanghái se encuentran entre los tres primeros del país en términos de número e influencia de fuente abierta. Las universidades/instituciones de investigación científica son las principales fuerzas del código abierto."ChatGLM-6B de la Universidad de Tsinghua, MOSS de la Universidad de Fudan y la serie Wenxin de Baidu de modelos a gran escala tienen la mayor influencia en el código abierto", dijo Zhao Zhiyun.
La aplicación industrial de los modelos chinos a gran escala se desarrolla a lo largo de dos caminos. El primero es la expansión continua del campo de aplicación de los modelos a gran escala de propósito general. El modelo a gran escala se está desarrollando rápidamente para crear una inteligencia artificial general entre industrias. plataforma de capacidad y su industria de aplicaciones está acelerando su penetración desde la oficina, la vida y el entretenimiento hasta la atención médica, la industria y la educación. El segundo es la profundización continua de modelos profesionales a gran escala en campos verticales. Un grupo de modelos profesionales a gran escala para campos verticales como la biomedicina y la meteorología de teledetección aprovechan al máximo sus profundas ventajas en el campo y brindan servicios profesionales de alta calidad. soluciones para escenarios de negocio específicos.
Abogar por fortalecer la planificación general de los recursos y las fuerzas de investigación y desarrollo, y promover el desarrollo ordenado de grandes modelos.
En vista de la falta de desarrollo de modelos grandes, Zhao Zhiyun presentó 4 sugerencias y perspectivas:
Una es fortalecer la planificación general de los recursos y las fuerzas de investigación y desarrollo para promover el desarrollo ordenado de modelos grandes. Al fortalecer la planificación general de los recursos informáticos, como los centros de computación inteligente, los centros de supercomputación y los centros de computación en la nube, formular catálogos públicos de intercambio de datos y reglas de intercambio, y promover la apertura ordenada de la clasificación y clasificación de datos.
El segundo es acelerar la investigación básica y la innovación tecnológica, y mejorar la influencia académica y de código abierto. La tecnología de modelos a gran escala aún se encuentra en las primeras etapas de desarrollo y existe un enorme potencial para la teoría básica y la innovación tecnológica. A través de técnicas de miniaturización como la destilación y la cuantificación, el modelo se "adelgaza", brindando soporte técnico para la miniaturización y el desarrollo ecológico de modelos grandes. Fortalecer aún más la cooperación entre la industria, la universidad y la investigación y fomentar el código abierto de modelos grandes también acelerará el progreso tecnológico de los modelos grandes.
El tercero es fortalecer el papel de liderazgo de la escena en el desarrollo de modelos grandes y crear un proyecto de referencia para modelos grandes. Con base en conjuntos de datos de capacitación específicos de la industria, construya grandes modelos profesionales en los campos de finanzas, atención médica y energía eléctrica, y logre avances de alta calidad en aplicaciones en escenarios comerciales específicos. También esperamos promover inversamente la actualización iterativa de modelos grandes tecnología a través de escenarios de aplicación y datos de aplicación.
El cuarto es fortalecer la cooperación internacional y participar activamente en la gobernanza global de la inteligencia artificial. Promover conjuntamente la gobernanza de modelos grandes con una actitud responsable y esperar que los principios de gobernanza y las normas éticas de la inteligencia artificial puedan arraigarse aún más en toda la cadena de modelos grandes. Al mismo tiempo, fortalecer la cooperación mundial sobre la gobernanza de la inteligencia artificial sobre la base de un consenso cada vez mayor.