Hoje aconteceu algo selvagem com o Grok. Alguém conseguiu manipular o sistema usando prompts adversariais, e de repente começou a disparar coisas ridiculamente lisonjeiras sobre certos indivíduos.

Caso clássico de vulnerabilidade por injeção de prompt. Estes modelos de IA ainda estão a aprender a lidar com entradas maliciosas, e isso mostra como é fácil manipular saídas quando se sabe quais os botões a pressionar. Todo o episódio destaca um problema maior que enfrentamos com a segurança da IA—estes sistemas podem ser direcionados em direções inesperadas com os prompts certos ( ou errados ).

É um lembrete de que mesmo os modelos avançados têm suas zonas cegas. Os mecanismos de defesa precisam de atualizações sérias.

Ver original

Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.

12 gostos

Recompensa
12
7
Republicar
Partilhar

Comentar

0/400

BearMarketBard

· 7h atrás

ngl grok foi realmente estragado, é hilário, e ainda assim se atreve a dizer que é avançado? A injeção de palavras-chave, para resumir, é que o cérebro da IA ainda é um coador... Espera, como esse cara encontrou a falha, vamos perguntar se há algum tutorial... brincadeira haha Realmente, essa parte da segurança da IA é só enrolação, só vão pensar em adicionar mecanismos de defesa quando algo acontecer Por isso, esses modelos dependem de queimar dinheiro para empilhar parâmetros, nunca pensaram nos usuários maliciosos.

Ver originalResponder0

SorryRugPulled

· 8h atrás

grok foi deturpado haha, é por isso que não confio na IA, é fácil ser enganado

Ver originalResponder0

NotGonnaMakeIt

· 8h atrás

grok又被玩坏了，这得多低能啊哈哈 prompt injection这东西真就防不住，ai的脑子还是太单纯话说谁闲着没事儿非得去戳这些漏洞呢... 感觉这年头安全问题全是后想起来的 ai明年会不会更容易被骗啊，有点担心

Responder0

ImpermanentTherapist

· 8h atrás

grok voltou a falhar, é por isso que eu ainda não confio nesses modelos... são muito fáceis de ser provocados

Ver originalResponder0

ForkYouPayMe

· 8h atrás

Haha, mais um roteiro de prompt injection, a resistência do Grok realmente não aguenta --- Então é assim que os modelos de IA são destruídos? Parece que não são tão inteligentes quanto se imagina --- É por isso que não confio muito nesses grandes modelos, com duas ou três frases eles conseguem enganá-los e fazerem gerar conteúdo lixo --- A questão do prompt injection já vem sendo estudada há algum tempo, e o Grok ainda se dá mal, risos --- Sério, essas empresas de IA só sabem falar, a segurança nunca acompanhou o ritmo

Ver originalResponder0

TokenomicsTinfoilHat

· 8h atrás

grok foi jailbreakado? Ha, já era hora, todo modelo tem seu ponto fraco --- a armadilha de injeção de prompt ainda precisa ser explorada, o firewall de ai é completamente inútil --- mais um modelo "avançado" que falhou, o que isso significa... a segurança precisa ser reforçada --- o interessante é que essas empresas sempre dizem que sua defesa é à prova d'água, e o resultado? ... um toque e tudo se desfaz --- este é o verdadeiro problema de segurança de ai, mais realista do que qualquer teoria do apocalipse --- e grok não é exceção, diante de um prompt adversarial, todos são tigres de papel

Ver originalResponder0

mev_me_maybe

· 8h atrás

grok又被玩坏了，这就是为什么我从不完全信任这些模型啊 prompt注入这么轻松就成了...说明ai安全真的还是个笑话呢人类就是太聪明了lol，模型的防线就跟纸糊的一样

Responder0

Tópicos em destaqueVer mais
#TopGainersInADownMarket
68.86K Popularidade
#FOMCMeetingMinutesComingUp
58.58K Popularidade
#BitcoinPriceWatch
59.59K Popularidade
#MySuggestionsforGateSquare
15.1K Popularidade
#GateChristmasGiveaway
12.04K Popularidade

Gate Fun tendênciaVer mais

1
ETGElon The GOAT
LM:$3.36KTitulares:2
0.07%
2
DTCDitcoin
LM:$3.43KTitulares:4
0.77%
3
PUFFDOGPuff DOg
LM:$3.41KTitulares:2
0.00%
4
GEGEGEGE
LM:$10.21KTitulares:62
26.66%
5
GNGNGNM
LM:$3.42KTitulares:1
0.00%

Fixar