Pesquisa: A pontuação dos testes de ataque da rede Kimi K3 é de 32,2%, ficando mais de 40 pontos percentuais atrás dos modelos de ponta dos EUA

Mensagem da TechFlow da Deep Tide: a 24 de julho, o Instituto de Investigação de Segurança em Inteligência Artificial do Reino Unido e o Centro de Padrões e Inovação em Inteligência Artificial dos EUA, em conjunto, avaliaram que o Kimi K3 da Moonshot AI pode ajudar no desenvolvimento de exploração de vulnerabilidades e na simulação de ataques de rede sem haver entraves substanciais, mas as suas capacidades gerais de cibersegurança continuam claramente abaixo das dos modelos de referência nos EUA.

No benchmark de exploração ExploitBench, a taxa de sucesso do Kimi K3 é de 32,2%, acima da GLM-5.2 da China, mas muito abaixo dos 76,2% do modelo líder nos EUA, e não conseguiu atingir em nenhum teste o nível máximo de ataque de “execução de código arbitrário”. Nos testes de ataques simulados a redes internas empresariais, o Kimi K3 concluiu, em média, 17 de 32 etapas, tendo completado o fluxo completo em apenas 1 das 10 tentativas.

O relatório considera que os modelos de pesos abertos da China têm continuado a evoluir em tarefas de cibersegurança, mas ainda existe uma diferença clara face aos sistemas dos EUA; ao mesmo tempo, os resultados também estão em linha com as alegações do exterior de que o Kimi K3 poderá depender de treino por destilação, o que teria contribuído para a insuficiência de capacidades de ataques avançados.