Исследование: тестовый результат атак на сеть Kimi K3 составил 32,2%, что более чем на 40 процентных пунктов ниже, чем у передовых моделей США

Сообщение Deep Tide TechFlow от 24 июля: Британский институт по исследованию безопасности ИИ совместно с Центром по стандартам и инновациям в области ИИ (США) провели совместную оценку и выяснили, что Kimi K3 от Moonshot AI способен помогать в разработке эксплойтов и симуляции сетевых атак при отсутствии существенных сдерживающих факторов, но его общие возможности в кибербезопасности всё ещё заметно отстают от американских ведущих моделей.

В бенчмарке для эксплойтов ExploitBench Kimi K3 имеет показатель успешности 32,2%, что выше, чем у китайской GLM-5.2, но значительно ниже, чем у американских лидеров — 76,2%; при этом модель не смогла ни в одном тесте достичь максимального уровня атак «произвольное выполнение кода». В тестах по симуляции атак во внутренней корпоративной сети Kimi K3 в среднем завершал 17 шагов из 32, а полный цикл удавалось провести лишь 1 раз из 10 попыток.

В отчёте отмечают, что китайские открытые модели с наращиваемыми весами продолжают поступательно улучшаться в задачах кибербезопасности, однако по-прежнему сохраняется заметный разрыв с американскими системами; при этом полученные результаты также согласуются с распространёнными предположениями, что Kimi K3 может опираться на дистилляционное обучение, из-за чего ему недостаёт возможностей для выполнения более продвинутых атак.