L’ère du remplacement d’un ordinateur basé uniquement sur les performances du CPU/GPU est révolue

Source originale : Silicon Star People

Source de l’image : Généré par Unbounded AI

La semaine dernière, un nouveau « petit » appareil a suscité l’enthousiasme de la communauté technologique mondiale. Il s’agit du premier véritable matériel d’IA de l’histoire de l’humanité investi par le PDG d’OpenAI, Sam Altman - AI Pin.

L’épingle AI est épinglée directement sur la poitrine lorsqu’elle est utilisée De : Humane Official

Ce matériel, épinglé à la poitrine et surnommé « l’iPhone à l’ère de l’IA » par de nombreux médias, met en évidence un design « radical », coupant directement l’écran que les appareils mobiles centraux devaient avoir dans le passé, et il doit fonctionner indépendamment des smartphones.

Dans la démo officielle, AI Pin peut calculer directement combien de grammes de protéines il y a dans les amandes dans votre main De : Humane Official

Au niveau de l’application, l’assistant IA alimenté par GPT4 est à la fois le système et la seule application. Les commandes vocales de l’utilisateur sont le contrôle principal. Le reste de la projection laser et de la reconnaissance gestuelle n’est utilisé qu’en complément de l’ensemble du système interactif, fournissant aux utilisateurs des informations, la météo, l’heure, la date, la navigation et d’autres contenus avec une interface et un contrôle très simples.

Steven Tey, un développeur bien connu, a déclaré que l’AI Pin lui rappelait la sortie de l’iPhone à l’époque

Cette subversion de la logique d’interaction de toute l’ère de l’Internet mobile a fait de l’AI Pin l’aimé de nombreux utilisateurs geeks.

L’idée de la plupart des utilisateurs ordinaires est qu’ils « espèrent intégrer cette interaction et cette capacité dans leurs smartphones » pour mettre à niveau à nouveau leurs smartphones.

De toute évidence, avec la mise en œuvre progressive de diverses capacités des grands modèles, les consommateurs sont sur le point d’entrer dans une ère où ils se demandent si leurs appareils mobiles peuvent exécuter des capacités d’IA en douceur, plutôt que seulement les performances absolues des CPU et des GPU. Et cela apportera inévitablement de nouveaux défis et de nouvelles opportunités.

Quels sont les enjeux de la vulgarisation des modèles d’IA sur les terminaux mobiles ?

Tout d’abord, ce sont les nouvelles exigences de puissance de calcul proposées par le modèle d’IA.

Contrairement aux téléphones mobiles et aux ordinateurs portables qui faisaient face à diverses charges de systèmes et de logiciels, les grands modèles ont été multipliés par des dizaines de fois en termes d’échelle neuronale, de capacité de calcul, d’espace de stockage et de vitesse de lecture et d’écriture par rapport aux applications d’IA précédentes.

Comparaison des échelles de paramètres GPT-3 et GPT-4 à partir de : moyen

Si l’on prend l’exemple du dernier modèle GPT-4 d’OpenAI, selon les rumeurs de l’industrie, il y a jusqu’à 1,8 billion de paramètres, alors que son GPT-1 sorti en 2018 n’en compte que 110 millions. La différence d’échelle est de 10 000 fois.

Même si le modèle est réduit au stade de l’application mobile de grand modèle, le nombre de paramètres du modèle d’inférence dans l’application réelle sera aussi élevé que 7 à 10 milliards de paramètres. S’appuyer sur la méthode précédente de mise à niveau des spécifications matérielles du CPU et du GPU sur les terminaux mobiles ne sera certainement pas en mesure de répondre à la demande de calcul de l’IA qui a augmenté de plusieurs fois, voire de dizaines de fois.

Il n’y a que deux façons de répondre à la nouvelle demande, ou de se connecter à Internet, et d’utiliser le réseau pour « transférer » le processus informatique vers le cloud. Ou trouvez un moyen d’améliorer la puissance de calcul et calculez les résultats directement localement.

Le code AI Pin introduit au début du produit est emballé et intégré aux services de réseau des opérateurs américains, et son loyer mensuel de 24 $ ne sert pas seulement à payer les capacités de service d’OpenAI, mais aussi à dépenser sur les réseaux mobiles.

Cette approche apparemment « concise » soulève également beaucoup de questions.

Le premier est le problème de confidentialité le plus dangereux, qui entraînera des risques pour la sécurité des données si les données personnelles, la plupart des éléments de la vie de l’individu et même certaines informations extrêmement privées sont toutes téléchargées par du matériel tel que AI Pin.

Si l’on prend un peu de recul, la qualité du réseau qui place tous les besoins informatiques de l’IA dans le cloud, télécharge les données localement, puis les télécharge, affectera grandement l’expérience de l’utilisateur final. En particulier à l’étranger, où la couverture du réseau mobile n’est pas aussi bonne que celle de la Chine, il y a une forte probabilité de décalage, voire d’absence de réponse.

Le défi des coûts mérite également qu’on s’y attarde, bien que l’investissement initial de l’achat unique de puissance de calcul locale soit plus important que celui de la puissance de cloud computing souscrite en continu, mais l’ensemble du cycle de vie est souvent beaucoup plus rentable. Prenons l’exemple d’AI Pin, avec un prix de départ de 699 $ et un loyer de 24 $ par mois, ce n’est pas bon marché.

En intégrant les trois points ci-dessus, il n’est pas difficile d’arriver à une conclusion : la localisation de grands modèles d’IA sur mobile est la solution optimale.

En conséquence, l’industrie des appareils mobiles doit effectuer une mise à niveau complète du matériel sous-jacent vers l’écosystème de haut niveau.

Qualcomm à l’ère de l’IA

Si l’on regarde l’ensemble du marché mobile, il n’y a que quelques acteurs qui ont la capacité de promouvoir cette mise à niveau complète, et Qualcomm est l’un d’entre eux.

Au MWC2023 début de l’année, Qualcomm a fait la démonstration de Stable Diffusion, un modèle d’IA générative, en action sur les smartphones équipés du Snapdragon 8 de deuxième génération. Avec une échelle de 1 milliard de paramètres, le modèle de diffusion stable peut effectuer 20 étapes d’inférence en 15 secondes, générant une invite textuelle dans une image.

Points forts de la plate-forme mobile Snapdragon 8 de 3e génération

Sur la nouvelle plate-forme mobile phare récemment lancée par Qualcomm, le Snapdragon 8 de troisième génération, le cœur du moteur d’IA de Qualcomm, Hexagon NPU, a de nouveau été mis à niveau, avec des performances globales améliorées de 98 % et une efficacité énergétique améliorée de 40 %.

Dans une dimension plus granulaire des performances, le dernier NPU Hexagon améliore ses performances d’IA jusqu’à 3,5 fois en intégrant un concentrateur de capteurs Qualcomm plus puissant, y compris 2 FAI toujours actifs, 1 DPS, 2 micro NPU, 30 % de mémoire en plus et la prise en charge du mode de calcul INT4.

Le résultat intuitif est que le Snapdragon 8 de troisième génération est capable d’exécuter des modèles d’IA générative avec jusqu’à 10 milliards de paramètres et de grands modèles de langage à 20 jetons/s. Et ce ne sont pas seulement les chiffres qui sont pris en charge, ce sont les capacités qui sont déjà réalisables.

Avec des performances aussi puissantes, le Snapdragon 8 de troisième génération a été capable d’exécuter localement de nombreuses applications liées à de grands modèles d’IA.

Zhao Ming, PDG de Honor Mobile, a présenté le cas d’utilisation de l’IA générative sur les téléphones mobiles lors du Snapdragon Summit, qui peut prendre en charge la création de vidéos thématiques sur les téléphones mobiles. Le système de téléphonie mobile peut récupérer lui-même des photos et des vidéos avec le même thème dans la médiathèque locale, puis laisser le grand modèle AI éditer la vidéo.

Les utilisateurs peuvent ensuite modifier la musique de fond et le modèle en parlant à l’IA, et l’ensemble de ce processus sera entièrement local à l’avenir, sans se soucier de la fuite accidentelle de données photo et vidéo privées après le téléchargement sur le cloud.

Sur la série Xiaomi 14, le WPS déjà adapté génère non seulement des présentations PPT en un clic avec le thème d’entrée, mais reconnaît également les images et les articles avec du texte, réalise « un coup d’œil et dix lignes » la numérisation et la lecture, extrait les points clés et les utilisateurs peuvent poser des questions directement à l’IA en fonction des questions qu’ils veulent le plus savoir.

Démonstration de la fonctionnalité WPS sur Xiaomi 14

Pour les documents, tels que les papiers, les contrats et les didacticiels, WPS AI peut aider les utilisateurs à comprendre, analyser et résumer le texte intégral grâce à la numérisation et à la reconnaissance, et fournir des fonctions de traçabilité des documents pour garantir l’exactitude et l’authenticité.

En plus de la puissante plate-forme mobile Snapdragon 8 de troisième génération, Qualcomm a également dévoilé son processeur informatique PC le plus puissant à ce jour : le Snapdragon X Elite.

Parmi eux, dans la partie CPU, Qualcomm a proposé un processeur Oryon entièrement reconstruit sous la prémisse de la compatibilité avec le jeu d’instructions ARM, le responsable a déclaré que ses performances monocœur sont d’environ 14% supérieures à celles d’Apple M2 Max, et la consommation d’énergie est réduite de 30% ; Dans le même temps, les performances du processeur monothread dépassent celles du i9-13980HX, qui est spécialement conçu pour les terminaux de jeu haute performance, et la consommation d’énergie est réduite de 70 % au même niveau de performance.

Les performances du GPU Adreno ont également été améliorées à 4,6 trillions d’opérations en virgule flottante (TFLOPS), tout en prenant en charge 4K@120Hz écrans HDR10 et en passant à trois écrans UHD ou deux écrans externes 5K.

Par rapport à la plate-forme mobile, la puissance de calcul hétérogène de X Elite a encore été améliorée, atteignant 75TOPS, dont 45TOPS pour Hexagon NPU. Grâce à ses excellentes performances, il a été capable d’exécuter un modèle de 13 milliards de paramètres localement, et un modèle de langage de 7 milliards de paramètres peut générer 30 jetons par seconde.

Lors du Snapdragon Summit, Blackmagic Design, le producteur du célèbre logiciel de montage vidéo Leonardo da Vinci, a également donné une image de l’utilisation du Snapdragon X Elite dans l’IA : pour le Magic Mask à forte intensité de calcul basé sur l’IA, le Snapdragon X Elite est 1,7 fois plus rapide que le processeur Windows haut de gamme à 12 cœurs avec GPU intégré, et le Magic Mask fonctionne sur le NPU intégré, qui est 3 fois plus rapide que de fonctionner sur le même processeur à 12 cœurs.

Points forts de la puce Snapdragon X Elite en un coup d’œil

Derrière les excellentes performances des téléphones mobiles et des ordinateurs portables, en plus des puissantes performances de la puce de Qualcomm, il a également le crédit de la pile logicielle globale d’IA de Qualcomm. Par exemple, lors de ce sommet, Qualcomm a annoncé l’ajout de la prise en charge de l’accès rapide à l’exécution ONNX aux puces Snapdragon et de la prise en charge du modèle de pilote de calcul (MCDM) de Microsoft.

Le premier est un framework d’inférence lancé par Microsoft, qui prend en charge une variété de backends en cours d’exécution, afin que les développeurs puissent être plus efficaces lors de la création d’applications d’inférence correspondantes ; quant au support de MCDM, le futur NPU Qualcomm sera plus efficace et direct dans le système Windows.

Les efforts de Qualcomm dans l’écosystème aident non seulement les partenaires fournisseurs de terminaux à créer d’excellents produits, mais attirent également de plus en plus de fournisseurs de logiciels indépendants (ISV) et de développeurs à rejoindre l’écosystème de Qualcomm pour promouvoir la mise en œuvre et la promotion d’applications d’IA de grands modèles sur les plates-formes Qualcomm.

Qualcomm continue d’accélérer

Depuis le lancement de son premier projet de recherche sur l’IA, Qualcomm est profondément engagé dans le domaine de l’IA depuis plus de dix ans. Des années d’accumulation de technologie dans les plates-formes mobiles, ainsi que l’exploration continue des capacités de l’IA, ont finalement explosé au moment où le modèle d’IA a atterri.

Selon le cycle de développement des puces dans l’industrie des semi-conducteurs d’environ 3 ans, la plate-forme mobile Snapdragon 8 de troisième génération et le Snapdragon X Elite avec d’excellentes performances sont entrés dans le processus de développement dès 2020 environ, ce qui montre la compréhension et la compréhension approfondies de Qualcomm des industries des appareils mobiles et de l’intelligence artificielle.

Cette recherche d’une technologie de pointe et l’intention initiale d’offrir l’expérience ultime aux utilisateurs poussent Qualcomm à continuer d’aller de l’avant. Cela a également permis à Qualcomm, qui a dépassé l’ère de la 3G/4G avec la technologie de communication et la plateformisation des SoC de téléphonie mobile, de saisir à nouveau l’opportunité rare des grands modèles d’IA.

Ce Qualcomm deviendra naturellement le premier choix des consommateurs qui ne se concentrent plus uniquement sur les performances de traitement de base des appareils mobiles, mais accordent plus d’attention aux performances de l’IA.

Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
  • Récompense
  • Commentaire
  • Reposter
  • Partager
Commentaire
0/400
Aucun commentaire
Trader les cryptos partout et à tout moment
qrCode
Scan pour télécharger Gate app
Communauté
Français (Afrique)
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)