DeepSeek publie un nouveau article signé par Liang Wenfeng : propose une nouvelle architecture mHC pour améliorer la stabilité de l'entraînement des grands modèles

PANews 1 janvier - Selon Jinshi, DeepSeek a publié un nouveau papier présentant une nouvelle architecture appelée contrainte de manifold hyperconnecté (mHC), conçue pour résoudre les problèmes d'instabilité de l'entraînement et de limitation de l'évolutivité des réseaux hyperconnectés (HC) causés par la destruction de la propriété de mapping identité. Cette architecture mappe l'espace de connexion résiduelle de HC sur un manifold spécifique pour restaurer la propriété de mapping identité, tout en combinant une optimisation rigoureuse de l'infrastructure pour garantir l'efficacité, ce qui a permis d'obtenir des améliorations de performance significatives et une évolutivité supérieure. DeepSeek prévoit que le mHC, en tant qu'extension flexible et pratique de HC, contribuera à une compréhension plus approfondie de la conception architecturale topologique et indiquera des directions prometteuses pour l'évolution des modèles de base. Ce papier est co-réalisé par Zhenda Xie (解振达), Yixuan Wei (韦毅轩), Huanqi Cao, avec également Liang Wenfeng parmi les auteurs.
Avertissement : Les informations figurant sur cette page peuvent provenir de sources tierces et sont fournies à titre indicatif uniquement. Elles ne reflètent pas les points de vue ou opinions de Gate et ne constituent pas un conseil financier, d’investissement ou juridique. Le trading des actifs virtuels comporte des risques élevés. Veuillez ne pas vous fonder uniquement sur les informations de cette page pour prendre vos décisions. Pour en savoir plus, consultez l’avertissement.
Commentaire
0/400
Aucun commentaire