En ouvrant l’interface de la caméra, le présentateur prend une photo du paysage devant lui. Dans l’album, trouvez cette image et sélectionnez la fonction « Développer », mais la partie périphérique qui n’a pas été capturée dans la photo a été « étendue » comme par magie vers la périphérie.
D’autre part, un téléphone portable semble être utilisé pour prendre des selfies pour les visiteurs, et lorsque vous entrez dans sa zone de caméra frontale, vous constaterez que l’arrière-plan de l’image de la personne dans l’image est remplacé en temps réel, même si la personne selfie continue de bouger, l’arrière-plan virtuel n’est pas usé et le retard n’est presque pas ressenti.
Modifier l’arrière-plan du selfie en temps réel |
Et si vous regardez d’un peu plus près, vous constaterez que tous les téléphones utilisés pour la démonstration sont en mode avion - c’est-à-dire que toutes les complications ci-dessus fonctionnent sur la puce locale du téléphone.
Il s’agit de la salle d’expérience de démonstration du Qualcomm Snapdragon Summit 2023, et les fonctions d’IA démontrées par les téléphones mobiles ci-dessus reposent toutes sur la puissance de calcul de la puce de processeur Snapdragon 8 Gen 3 (Snapdragon 8 de troisième génération) qui vient d’être exposée lors de la conférence.
Au moment où les grands modèles d’IA sont populaires, Qualcomm a lancé deux nouveaux produits lors de la conférence de presse de cette année, les puces Snapdragon X Elite et Snapdragon 8 Gen 3, respectivement, sur les appareils mobiles représentés par les PC et les smartphones, réalisant le fonctionnement local de dizaines de milliards de modèles de grands paramètres, faisant de la capacité magique de l’IA générative une « fonction intégrée » des appareils mobiles.
En plus de « l’IA dans le cloud », avec le développement rapide des puces, « l’IA terminale » a été réalisée, et l’ère de « l’IA hybride » dans laquelle les deux travaillent ensemble est peut-être arrivée.
01 L’IA, du centre de données aux téléphones mobiles et PC
« Nous venons d’assister au début de la prochaine transformation, et elle est d’une grande portée. **」
Le président et chef de la direction de Qualcomm, Cristiano Amon, a fait cette prédiction d’une « IA hybride » combinant les appareils et le cloud en décrivant le téléphone mobile, des téléphones polyvalents aux smartphones, puis à l’avenir.
Lors du Qualcomm Snapdragon Summit, Ammon a expliqué que l’ère de « l’IA terminale » est arrivée|Geek Park
L’IA dans le cloud, comme de nombreuses applications de conversation d’IA générative aujourd’hui, n’est peut-être pas étrangère, mais la mise en œuvre de l’IA terminale a des exigences matérielles élevées, c’est pourquoi les deux nouvelles puces présentes à la conférence de presse de Qualcomm - Snapdragon X Elite et Snapdragon 8 Gen 3 - sont particulièrement accrocheuses.
La chose la plus excitante de la journée est peut-être que le processeur Ryon du Snapdragon X Elite a non seulement battu la fière puce M2 MAX d’Apple** et le i9-13980HX d’Intel en termes de performances sur un seul thread, mais a également consommé 70 % d’énergie en moins que ce dernier sur les mêmes performances.
De plus, les puissants processeurs Oryon, Hexagon NPU et Adreno, avec la prise en charge du moteur d’IA hétérogène de X Elite, peuvent atteindre une puissance de calcul globale de 75 TOP dans trois unités de processeur.
La super puissance de calcul permet à l’expérience de conversation générative de l’IA, qui n’était auparavant disponible que dans le cloud, d’être mise en œuvre avec succès dans l’environnement local de l’ordinateur équipé de la puce Snapdragon X Elite, qui peut exécuter de grands modèles de langage avec jusqu’à 13 milliards de paramètres côté PC, et la vitesse de génération de jetons atteint 30 jetons par seconde, ce qui est plus rapide que la vitesse de lecture de l’utilisateur ; Dans le même temps, les images générées avec Stable Diffusion sont étonnamment rapides en moins de 1 seconde.
La vitesse du processeur et la consommation d’énergie du nouveau processeur Oryon sont parmi les meilleures au monde
Sur le terrain, lorsque vous cliquez sur le bouton de génération avec votre doigt et que l’image peut être complétée en un instant, l’expérience est incroyable, car les gens sont habitués depuis longtemps à attendre un dialogue génératif pour produire une image, du flou au clair.
En tant que puce phare pour smartphone, le Snapdragon 8 Gen 3 n’est pas loin derrière le X Elite, et en termes d’IA, il peut non seulement exécuter un grand modèle avec des dizaines de milliards de paramètres localement, mais aussi générer des images en aussi peu que 0,6 seconde.
Rien qu’au cours du premier trimestre de cette année, la démo de Qualcomm n’a pu exécuter qu’un grand modèle avec 1 milliard de paramètres localement, et la vitesse de génération des images a été contrôlée à 15 secondes. Quel genre de « magie » Qualcomm utilise-t-il pour faire en sorte que « l’IA terminale » fasse de grands pas de géant ?
Dans le cas du Snapdragon 8 Gen 3, Qualcomm** quantifie d’abord un modèle de grande taille comme le Llama 2, le compresse à l’aide d’une pile logicielle d’IA et charge le modèle quantifié dans une mémoire DDR ultra-rapide**, qui peut entrer le modèle dans le NPU Hexagon avec un débit ultra-rapide.
Le moteur d’IA de Qualcomm est optimisé spécifiquement pour l’IA |
Qualcomm a apporté des améliorations significatives à la microarchitecture. En plus de la mise à niveau du matériel d’inférence microslice, l’équipe a également ajouté des pistes d’alimentation séparées à l’accélérateur tensoriel pour des performances et une efficacité énergétique optimales. Dans le même temps, Qualcomm a augmenté la vitesse d’horloge des accélérateurs scalaires et vectoriels et doublé la bande passante de la grande mémoire partagée. Ces améliorations apportées à l’Hexagon NPU en font un accélérateur de premier plan pour l’inférence de grands modèles.
Qualcomm utilise également une technique de « décodage spéculatif » dans les conversations vocales, qui est également utilisée pour la première fois sur un terminal. Cette technologie utilise un algorithme de « modèle de brouillon » qui fait près de la moitié de la taille du modèle d’origine, et génère rapidement 3 jetons spéculatifs après avoir effectué une grande quantité d’inférence sur le processeur.
Le modèle maître traite les 3 balises à la fois et décide laquelle accepter. Un bon modèle de brouillon prédit le prochain jeton avec un taux d’acceptation élevé, doublant le taux de génération de jetons tout en maintenant la précision. Enfin, la voix générée par l’assistant IA est générée par un modèle d’IA de synthèse vocale fonctionnant sur le processeur.
Il s’agit du processus du Qualcomm AI Engine, ou NPU, combiné au CPU, au GPU, au Qualcomm Sensor Hub et à la mémoire ultra-rapide, travaillant ensemble pour compléter un cas d’utilisation de l’IA côté appareil.
Cependant, derrière les cas d’application complexes mais efficaces de l’IA générative se cache la longue accumulation et l’exploration de Qualcomm dans le sens de l’IA côté appareil.
02 Évolution de l’IA terminale
Si nous parlons de l’évolution du matériel d’IA dans le cloud dans le scénario du centre de données, le symbole est la carte graphique de NVIDIA ; Ensuite, le développement de l’IA du côté de l’appareil est marqué par le moteur d’IA de Qualcomm, bien sûr, la partie la plus critique du niveau matériel est le processeur NPU Snapdragon Hexagon en constante évolution.
En 2007, Qualcomm a présenté le premier processeur Hexagon sur la plate-forme Snapdragon.
En 2015, Qualcomm a intégré la technologie de l’IA dans ses processeurs, en utilisant l’IA pour améliorer le calcul des images, de l’audio et des capteurs.
En 2017, Qualcomm a introduit le DSP Hexagon 685 dans la puce Snapdragon 845, qui permet aux smartphones d’effectuer plus rapidement des tâches d’IA complexes telles que la reconnaissance d’images et le traitement de la voix.
L’année suivante, en 2018, le Snapdragon 855 a mis à niveau son moteur d’IA de quatrième génération, en ajoutant des accélérateurs tensoriels au processeur Hexagon, ce qui a permis de multiplier par 3 les performances du traitement de l’IA.
Dans le Snapdragon 865, le DSP Hexagon 698 a été introduit, offrant plus de performances et d’efficacité de l’IA. Cette version met l’accent sur l’accélération de l’IA et optimise l’exécution des modèles d’IA pour exécuter les applications d’IA plus rapidement dans les smartphones. Le DSP Hexagon 780 du Snapdragon 888 à la fin de l’année 2020 offre jusqu’à 26 TOPS de performances d’IA.
Après plus d’une décennie d’évolution, les capacités d’IA de la plate-forme informatique Snapdragon ont été multipliées par 100
Jusqu’à présent, les puces Snapdragon X Elite et 8 Gen 3 ont été en mesure de fournir 75 TOP de puissance de calcul - si vous faites un graphique de la puissance de traitement de l’IA des puces Qualcomm au cours des sept dernières années, vous pouvez voir que la « courbe de l’IA » a montré une forte tendance à la hausse, et elle ne s’est toujours pas arrêtée.
En plus du matériel, les efforts de Qualcomm au niveau des logiciels d’IA sont également indispensables pour améliorer les capacités de l’IA terminale. La pile logicielle d’IA de Qualcomm intègre tous ses produits logiciels d’IA dans une solution unifiée. Les OEM et les développeurs peuvent créer, optimiser et déployer des applications d’IA basées sur les produits Qualcomm, en tirant pleinement parti des performances de Qualcomm AI Engine, ce qui permet aux développeurs d’IA de créer des modèles d’IA une seule fois et de les déployer sur différents produits.
Lors du Snapdragon Summit, Qualcomm a également dévoilé des modèles de pile logicielle d’IA - une suite de modèles qui répondent aux besoins des développeurs et qui ont été entièrement optimisés, testés et validés par Qualcomm pour prendre en charge les plates-formes Snapdragon 8 et Snapdragon X Elite de troisième génération.
Le SDK Qualcomm Neural Network Processing et Qualcomm AI Engine Direct sont au cœur de la pile logicielle Qualcomm AI, connectant la puce à tous les principaux frameworks d’IA. Avec les modèles gérés TF Lite et ONNX RT, les utilisateurs peuvent également utiliser directement Tensorflow et ONNX, ce qui donne aux développeurs la liberté de choisir leur environnement de travail préféré.
Qualcomm est en train de construire un écosystème d’IA de terminaux avec de nombreux géants et de grandes entreprises de mannequins
Qualcomm s’est associé à un certain nombre de géants et de startups de grands modèles, et au moment de la sortie du modèle de pile logicielle d’IA de Qualcomm, il y a déjà plus de 30 grands modèles pris en charge, et le nombre continue de croître, et le modèle de pile logicielle apparaîtra également sur la plate-forme d’hébergement de modèles populaire Hugging Face.
Maintenant dans sa huitième génération, le moteur d’IA de Qualcomm, qui se compose de plusieurs composants matériels et logiciels, permet l’accélération de l’IA côté appareil sur les plates-formes Snapdragon et Qualcomm.
On peut voir queSur la base du matériel sous-jacent de la puce, Qualcomm réunit un grand nombre de partenaires pour établir un écosystème « d’IA terminale".
Pourquoi « l’IA terminale » est-elle si importante, et que Qualcomm et ses partenaires ne devraient ménager aucun effort pour y investir ?
03 L’avenir de « l’IA hybride »
Dans les navigateurs, dans les applications mobiles, de nombreuses personnes utilisent des applications d’IA générative, et il semble que ce type d'« IA cloud » ait répondu aux besoins des gens. Quels sont les avantages de l’IA sur l’appareil par rapport à l’IA dans le cloud ?
La première est de réagir immédiatement. Dans le passé, les développeurs ont essayé de compresser le modèle Stable Diffusion pour générer des images sur un ordinateur portable Mac, et les résultats sont mesurés en heures. Cependant, si l’opération locale est effectuée sur le terminal, dans la démo présentée par Qualcomm, la vitesse de Fast Stable Diffusion pour générer des images a été réduite à moins de 1 seconde.
En particulier dans les scénarios avec des exigences de latence élevées, tels que les humains virtuels et les arrière-plans virtuels en temps réel, l’immédiateté du calcul local de l’IA terminale est mise en évidence.
De plus, dans le cas de réseaux médiocres, les capacités d’IA de l’appareil local deviennent la seule option pour les utilisateurs.
La puce Snapdragon 8 de troisième génération peut atteindre des capacités d’extension photo localement sur le téléphone|Qualcomm
Dans le même temps, lorsque les données s’exécutent localement sur le terminal, la sécurité est également plus sûre que dans le cloud. Par exemple, le Snapdragon X Elite prend en charge la sécurité de bout en bout la plus récente, protégeant tous les terminaux de l’entreprise, de la puce au cloud. L’unité de traitement sécurisée dédiée de Qualcomm prend en charge l’architecture de sécurité Microsoft Pluton et est conçue pour stocker des données sensibles.
Enfin, l’amélioration des capacités de l’IA terminale peut vraiment donner aux assistants d’IA une chance de se débarrasser de la stigmatisation de la « déficience intellectuelle artificielle » et de devenir véritablement un assistant intelligent personnel qualifié et hautement personnalisé. Tout comme la démonstration en direct, à l’aide d’informations personnelles, d’habitudes d’utilisation et d’autres données enregistrées et stockées côté terminal, l’assistant intelligent peut réserver directement des hôtels et des billets d’avion après avoir reçu des commandes vocales, au lieu de sauter dans diverses applications sur le téléphone portable. Ceux-ci sont tous inégalés par l’IA dans le cloud.
Il y a une dizaine d’années, Mark Anderson, le fondateur d’a16z, a un jour prédit que « le logiciel avalera le monde », mais malheureusement la réalité a été faussée ; Sous la vague de l’IA provoquée par les grands modèles, les « applications dévoreuses d’IA » deviennent peu à peu une réalité.
Terminal AI + cloud AI va changer le paradigme centré sur les applications des smartphones|Geek Park
« La puissance prédictive de l’IA, associée au fait que le terminal est conçu pour vous, rend le terminal et le système d’exploitation, ainsi que l’application et le cloud, intelligents. »
Ammon décrit comment « l’IA hybride » composée de l’IA terminale + de l’IA dans le cloud changera les habitudes d’utilisation des appareils.
Jusqu’à présent, le nombre de terminaux utilisant la plate-forme Snapdragon a atteint 3 milliards.
Tout comme le processeur Oryon entrera dans les différentes gammes de produits de Qualcomm à l’avenir, les capacités de l’IA terminale seront bientôt transférées des PC et des téléphones mobiles vers la XR et les appareils de voiture intelligente - un avenir où « l’IA hybride » est omniprésente.
L’IA trouvera sa place dans toutes sortes d’appareils
L’ouverture du Snapdragon Summit, une cérémonie spéciale pour la population locale de Maui, des étrangers venus d’outre-mer, à travers les instruments et les cris uniques de la conque, montrent leur innocence ; Les habitants de l’île ont répondu avec un « sort » unique pour confirmer que l’autre partie n’avait aucune intention malveillante et qu’elle était digne de confiance.
Cette cérémonie émouvante ressemble beaucoup à la convergence de « l’IA terminale » et de « l’IA dans le cloud » pour apporter l’avenir de « l’IA hybride » au monde.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Le grand modèle est mis sur le téléphone portable, ouvrant le rideau sur l’IA pour changer le monde
Source originale : Geek Park
Auteur : Jing Yu
En ouvrant l’interface de la caméra, le présentateur prend une photo du paysage devant lui. Dans l’album, trouvez cette image et sélectionnez la fonction « Développer », mais la partie périphérique qui n’a pas été capturée dans la photo a été « étendue » comme par magie vers la périphérie.
D’autre part, un téléphone portable semble être utilisé pour prendre des selfies pour les visiteurs, et lorsque vous entrez dans sa zone de caméra frontale, vous constaterez que l’arrière-plan de l’image de la personne dans l’image est remplacé en temps réel, même si la personne selfie continue de bouger, l’arrière-plan virtuel n’est pas usé et le retard n’est presque pas ressenti.
Et si vous regardez d’un peu plus près, vous constaterez que tous les téléphones utilisés pour la démonstration sont en mode avion - c’est-à-dire que toutes les complications ci-dessus fonctionnent sur la puce locale du téléphone.
Il s’agit de la salle d’expérience de démonstration du Qualcomm Snapdragon Summit 2023, et les fonctions d’IA démontrées par les téléphones mobiles ci-dessus reposent toutes sur la puissance de calcul de la puce de processeur Snapdragon 8 Gen 3 (Snapdragon 8 de troisième génération) qui vient d’être exposée lors de la conférence.
Au moment où les grands modèles d’IA sont populaires, Qualcomm a lancé deux nouveaux produits lors de la conférence de presse de cette année, les puces Snapdragon X Elite et Snapdragon 8 Gen 3, respectivement, sur les appareils mobiles représentés par les PC et les smartphones, réalisant le fonctionnement local de dizaines de milliards de modèles de grands paramètres, faisant de la capacité magique de l’IA générative une « fonction intégrée » des appareils mobiles.
En plus de « l’IA dans le cloud », avec le développement rapide des puces, « l’IA terminale » a été réalisée, et l’ère de « l’IA hybride » dans laquelle les deux travaillent ensemble est peut-être arrivée.
01 L’IA, du centre de données aux téléphones mobiles et PC
« Nous venons d’assister au début de la prochaine transformation, et elle est d’une grande portée. **」
Le président et chef de la direction de Qualcomm, Cristiano Amon, a fait cette prédiction d’une « IA hybride » combinant les appareils et le cloud en décrivant le téléphone mobile, des téléphones polyvalents aux smartphones, puis à l’avenir.
L’IA dans le cloud, comme de nombreuses applications de conversation d’IA générative aujourd’hui, n’est peut-être pas étrangère, mais la mise en œuvre de l’IA terminale a des exigences matérielles élevées, c’est pourquoi les deux nouvelles puces présentes à la conférence de presse de Qualcomm - Snapdragon X Elite et Snapdragon 8 Gen 3 - sont particulièrement accrocheuses.
La chose la plus excitante de la journée est peut-être que le processeur Ryon du Snapdragon X Elite a non seulement battu la fière puce M2 MAX d’Apple** et le i9-13980HX d’Intel en termes de performances sur un seul thread, mais a également consommé 70 % d’énergie en moins que ce dernier sur les mêmes performances.
De plus, les puissants processeurs Oryon, Hexagon NPU et Adreno, avec la prise en charge du moteur d’IA hétérogène de X Elite, peuvent atteindre une puissance de calcul globale de 75 TOP dans trois unités de processeur.
La super puissance de calcul permet à l’expérience de conversation générative de l’IA, qui n’était auparavant disponible que dans le cloud, d’être mise en œuvre avec succès dans l’environnement local de l’ordinateur équipé de la puce Snapdragon X Elite, qui peut exécuter de grands modèles de langage avec jusqu’à 13 milliards de paramètres côté PC, et la vitesse de génération de jetons atteint 30 jetons par seconde, ce qui est plus rapide que la vitesse de lecture de l’utilisateur ; Dans le même temps, les images générées avec Stable Diffusion sont étonnamment rapides en moins de 1 seconde.
Sur le terrain, lorsque vous cliquez sur le bouton de génération avec votre doigt et que l’image peut être complétée en un instant, l’expérience est incroyable, car les gens sont habitués depuis longtemps à attendre un dialogue génératif pour produire une image, du flou au clair.
En tant que puce phare pour smartphone, le Snapdragon 8 Gen 3 n’est pas loin derrière le X Elite, et en termes d’IA, il peut non seulement exécuter un grand modèle avec des dizaines de milliards de paramètres localement, mais aussi générer des images en aussi peu que 0,6 seconde.
Rien qu’au cours du premier trimestre de cette année, la démo de Qualcomm n’a pu exécuter qu’un grand modèle avec 1 milliard de paramètres localement, et la vitesse de génération des images a été contrôlée à 15 secondes. Quel genre de « magie » Qualcomm utilise-t-il pour faire en sorte que « l’IA terminale » fasse de grands pas de géant ?
Dans le cas du Snapdragon 8 Gen 3, Qualcomm** quantifie d’abord un modèle de grande taille comme le Llama 2, le compresse à l’aide d’une pile logicielle d’IA et charge le modèle quantifié dans une mémoire DDR ultra-rapide**, qui peut entrer le modèle dans le NPU Hexagon avec un débit ultra-rapide.
Qualcomm a apporté des améliorations significatives à la microarchitecture. En plus de la mise à niveau du matériel d’inférence microslice, l’équipe a également ajouté des pistes d’alimentation séparées à l’accélérateur tensoriel pour des performances et une efficacité énergétique optimales. Dans le même temps, Qualcomm a augmenté la vitesse d’horloge des accélérateurs scalaires et vectoriels et doublé la bande passante de la grande mémoire partagée. Ces améliorations apportées à l’Hexagon NPU en font un accélérateur de premier plan pour l’inférence de grands modèles.
Qualcomm utilise également une technique de « décodage spéculatif » dans les conversations vocales, qui est également utilisée pour la première fois sur un terminal. Cette technologie utilise un algorithme de « modèle de brouillon » qui fait près de la moitié de la taille du modèle d’origine, et génère rapidement 3 jetons spéculatifs après avoir effectué une grande quantité d’inférence sur le processeur.
Le modèle maître traite les 3 balises à la fois et décide laquelle accepter. Un bon modèle de brouillon prédit le prochain jeton avec un taux d’acceptation élevé, doublant le taux de génération de jetons tout en maintenant la précision. Enfin, la voix générée par l’assistant IA est générée par un modèle d’IA de synthèse vocale fonctionnant sur le processeur.
Il s’agit du processus du Qualcomm AI Engine, ou NPU, combiné au CPU, au GPU, au Qualcomm Sensor Hub et à la mémoire ultra-rapide, travaillant ensemble pour compléter un cas d’utilisation de l’IA côté appareil.
Cependant, derrière les cas d’application complexes mais efficaces de l’IA générative se cache la longue accumulation et l’exploration de Qualcomm dans le sens de l’IA côté appareil.
02 Évolution de l’IA terminale
Si nous parlons de l’évolution du matériel d’IA dans le cloud dans le scénario du centre de données, le symbole est la carte graphique de NVIDIA ; Ensuite, le développement de l’IA du côté de l’appareil est marqué par le moteur d’IA de Qualcomm, bien sûr, la partie la plus critique du niveau matériel est le processeur NPU Snapdragon Hexagon en constante évolution.
En 2007, Qualcomm a présenté le premier processeur Hexagon sur la plate-forme Snapdragon.
En 2015, Qualcomm a intégré la technologie de l’IA dans ses processeurs, en utilisant l’IA pour améliorer le calcul des images, de l’audio et des capteurs.
En 2017, Qualcomm a introduit le DSP Hexagon 685 dans la puce Snapdragon 845, qui permet aux smartphones d’effectuer plus rapidement des tâches d’IA complexes telles que la reconnaissance d’images et le traitement de la voix.
L’année suivante, en 2018, le Snapdragon 855 a mis à niveau son moteur d’IA de quatrième génération, en ajoutant des accélérateurs tensoriels au processeur Hexagon, ce qui a permis de multiplier par 3 les performances du traitement de l’IA.
Dans le Snapdragon 865, le DSP Hexagon 698 a été introduit, offrant plus de performances et d’efficacité de l’IA. Cette version met l’accent sur l’accélération de l’IA et optimise l’exécution des modèles d’IA pour exécuter les applications d’IA plus rapidement dans les smartphones. Le DSP Hexagon 780 du Snapdragon 888 à la fin de l’année 2020 offre jusqu’à 26 TOPS de performances d’IA.
Jusqu’à présent, les puces Snapdragon X Elite et 8 Gen 3 ont été en mesure de fournir 75 TOP de puissance de calcul - si vous faites un graphique de la puissance de traitement de l’IA des puces Qualcomm au cours des sept dernières années, vous pouvez voir que la « courbe de l’IA » a montré une forte tendance à la hausse, et elle ne s’est toujours pas arrêtée.
En plus du matériel, les efforts de Qualcomm au niveau des logiciels d’IA sont également indispensables pour améliorer les capacités de l’IA terminale. La pile logicielle d’IA de Qualcomm intègre tous ses produits logiciels d’IA dans une solution unifiée. Les OEM et les développeurs peuvent créer, optimiser et déployer des applications d’IA basées sur les produits Qualcomm, en tirant pleinement parti des performances de Qualcomm AI Engine, ce qui permet aux développeurs d’IA de créer des modèles d’IA une seule fois et de les déployer sur différents produits.
Lors du Snapdragon Summit, Qualcomm a également dévoilé des modèles de pile logicielle d’IA - une suite de modèles qui répondent aux besoins des développeurs et qui ont été entièrement optimisés, testés et validés par Qualcomm pour prendre en charge les plates-formes Snapdragon 8 et Snapdragon X Elite de troisième génération.
Le SDK Qualcomm Neural Network Processing et Qualcomm AI Engine Direct sont au cœur de la pile logicielle Qualcomm AI, connectant la puce à tous les principaux frameworks d’IA. Avec les modèles gérés TF Lite et ONNX RT, les utilisateurs peuvent également utiliser directement Tensorflow et ONNX, ce qui donne aux développeurs la liberté de choisir leur environnement de travail préféré.
Qualcomm s’est associé à un certain nombre de géants et de startups de grands modèles, et au moment de la sortie du modèle de pile logicielle d’IA de Qualcomm, il y a déjà plus de 30 grands modèles pris en charge, et le nombre continue de croître, et le modèle de pile logicielle apparaîtra également sur la plate-forme d’hébergement de modèles populaire Hugging Face.
Maintenant dans sa huitième génération, le moteur d’IA de Qualcomm, qui se compose de plusieurs composants matériels et logiciels, permet l’accélération de l’IA côté appareil sur les plates-formes Snapdragon et Qualcomm.
On peut voir queSur la base du matériel sous-jacent de la puce, Qualcomm réunit un grand nombre de partenaires pour établir un écosystème « d’IA terminale".
Pourquoi « l’IA terminale » est-elle si importante, et que Qualcomm et ses partenaires ne devraient ménager aucun effort pour y investir ?
03 L’avenir de « l’IA hybride »
Dans les navigateurs, dans les applications mobiles, de nombreuses personnes utilisent des applications d’IA générative, et il semble que ce type d'« IA cloud » ait répondu aux besoins des gens. Quels sont les avantages de l’IA sur l’appareil par rapport à l’IA dans le cloud ?
La première est de réagir immédiatement. Dans le passé, les développeurs ont essayé de compresser le modèle Stable Diffusion pour générer des images sur un ordinateur portable Mac, et les résultats sont mesurés en heures. Cependant, si l’opération locale est effectuée sur le terminal, dans la démo présentée par Qualcomm, la vitesse de Fast Stable Diffusion pour générer des images a été réduite à moins de 1 seconde.
En particulier dans les scénarios avec des exigences de latence élevées, tels que les humains virtuels et les arrière-plans virtuels en temps réel, l’immédiateté du calcul local de l’IA terminale est mise en évidence.
De plus, dans le cas de réseaux médiocres, les capacités d’IA de l’appareil local deviennent la seule option pour les utilisateurs.
Dans le même temps, lorsque les données s’exécutent localement sur le terminal, la sécurité est également plus sûre que dans le cloud. Par exemple, le Snapdragon X Elite prend en charge la sécurité de bout en bout la plus récente, protégeant tous les terminaux de l’entreprise, de la puce au cloud. L’unité de traitement sécurisée dédiée de Qualcomm prend en charge l’architecture de sécurité Microsoft Pluton et est conçue pour stocker des données sensibles.
Enfin, l’amélioration des capacités de l’IA terminale peut vraiment donner aux assistants d’IA une chance de se débarrasser de la stigmatisation de la « déficience intellectuelle artificielle » et de devenir véritablement un assistant intelligent personnel qualifié et hautement personnalisé. Tout comme la démonstration en direct, à l’aide d’informations personnelles, d’habitudes d’utilisation et d’autres données enregistrées et stockées côté terminal, l’assistant intelligent peut réserver directement des hôtels et des billets d’avion après avoir reçu des commandes vocales, au lieu de sauter dans diverses applications sur le téléphone portable. Ceux-ci sont tous inégalés par l’IA dans le cloud.
Il y a une dizaine d’années, Mark Anderson, le fondateur d’a16z, a un jour prédit que « le logiciel avalera le monde », mais malheureusement la réalité a été faussée ; Sous la vague de l’IA provoquée par les grands modèles, les « applications dévoreuses d’IA » deviennent peu à peu une réalité.
« La puissance prédictive de l’IA, associée au fait que le terminal est conçu pour vous, rend le terminal et le système d’exploitation, ainsi que l’application et le cloud, intelligents. »
Ammon décrit comment « l’IA hybride » composée de l’IA terminale + de l’IA dans le cloud changera les habitudes d’utilisation des appareils.
Jusqu’à présent, le nombre de terminaux utilisant la plate-forme Snapdragon a atteint 3 milliards.
Tout comme le processeur Oryon entrera dans les différentes gammes de produits de Qualcomm à l’avenir, les capacités de l’IA terminale seront bientôt transférées des PC et des téléphones mobiles vers la XR et les appareils de voiture intelligente - un avenir où « l’IA hybride » est omniprésente.
L’ouverture du Snapdragon Summit, une cérémonie spéciale pour la population locale de Maui, des étrangers venus d’outre-mer, à travers les instruments et les cris uniques de la conque, montrent leur innocence ; Les habitants de l’île ont répondu avec un « sort » unique pour confirmer que l’autre partie n’avait aucune intention malveillante et qu’elle était digne de confiance.
Cette cérémonie émouvante ressemble beaucoup à la convergence de « l’IA terminale » et de « l’IA dans le cloud » pour apporter l’avenir de « l’IA hybride » au monde.