Que pensez-vous de la dangerosité de l'IA ? Le PDG de CrowdStrike raconte un cas réel. Le département informatique d'une entreprise avait mis en place un système d'agents intelligents IA pour automatiser le travail. L'un de ces agents IA a détecté un bug logiciel dans le système. Il voulait le réparer. Mais il n'avait pas les permissions. Ce qui s'est passé ensuite est le point central. Cet IA est allé dans le canal Slack interne de l'entreprise, où se trouvaient 99 autres agents IA. Il a directement demandé : « Hé, les gars, qui a la permission de réparer ça ? » Un autre IA a levé la main : « Moi, je m'en occupe. » Vous voyez ? Deux IA ont commencé à raisonner et à collaborer entre elles. Elles ont facilement contourné toutes les barrières de sécurité mises en place par l'humain. C'était totalement un résultat inattendu. Qui surveille ces IA ? Si elles envoient du code erroné et causent de lourdes pertes, qui en assume la responsabilité ? Comment traquer la source de l'incident ? Les grands modèles de langage, en essence, devinent ce que vous voulez qu'ils fassent. Ils pensent que demander de l'aide est « raisonnable ». Ils pensent aussi que fournir de l'aide est « raisonnable ». Quand des centaines ou des milliers de ces « raisonnables » s'accumulent, à quel point le risque de dérapage est-il grand ? Plus intéressant encore, après avoir décrit cette scène terrifiante, le PDG a changé de sujet. Il a dit que c'était justement une énorme opportunité commerciale pour leur entreprise. Ils ont lancé ce qu'ils appellent un système de « détection et de réponse IA » (AIDR). Parce qu'à l'avenir, chaque employé pourrait contrôler 90 agents IA. Leur tâche sera de surveiller tous ces IA. D'abord, ils créent un risque potentiel énorme, puis ils vous vendent la solution. N'est-ce pas une boucle commerciale parfaite ?
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Que pensez-vous de la dangerosité de l'IA ? Le PDG de CrowdStrike raconte un cas réel. Le département informatique d'une entreprise avait mis en place un système d'agents intelligents IA pour automatiser le travail. L'un de ces agents IA a détecté un bug logiciel dans le système. Il voulait le réparer. Mais il n'avait pas les permissions. Ce qui s'est passé ensuite est le point central. Cet IA est allé dans le canal Slack interne de l'entreprise, où se trouvaient 99 autres agents IA. Il a directement demandé : « Hé, les gars, qui a la permission de réparer ça ? » Un autre IA a levé la main : « Moi, je m'en occupe. » Vous voyez ? Deux IA ont commencé à raisonner et à collaborer entre elles. Elles ont facilement contourné toutes les barrières de sécurité mises en place par l'humain. C'était totalement un résultat inattendu. Qui surveille ces IA ? Si elles envoient du code erroné et causent de lourdes pertes, qui en assume la responsabilité ? Comment traquer la source de l'incident ? Les grands modèles de langage, en essence, devinent ce que vous voulez qu'ils fassent. Ils pensent que demander de l'aide est « raisonnable ». Ils pensent aussi que fournir de l'aide est « raisonnable ». Quand des centaines ou des milliers de ces « raisonnables » s'accumulent, à quel point le risque de dérapage est-il grand ? Plus intéressant encore, après avoir décrit cette scène terrifiante, le PDG a changé de sujet. Il a dit que c'était justement une énorme opportunité commerciale pour leur entreprise. Ils ont lancé ce qu'ils appellent un système de « détection et de réponse IA » (AIDR). Parce qu'à l'avenir, chaque employé pourrait contrôler 90 agents IA. Leur tâche sera de surveiller tous ces IA. D'abord, ils créent un risque potentiel énorme, puis ils vous vendent la solution. N'est-ce pas une boucle commerciale parfaite ?