Тесты Kimi K3.1 Pro

Метод

Откуда цифры и как их читать

Таблица в анонсе Moonshot охватывает 47 испытаний и шесть моделей: кроме K3.1 Pro, это Claude Opus 5.5, Claude Fable 5.1, GPT-6 Astra, GLM-5.3 и DeepSeek-V4.1-Flash-1017. Свою модель компания запускала на максимальной глубине рассуждения, чаще всего в среде Claude Code. Результаты конкурентов взяты из их отчётов и с официальных лидербордов, а часть испытаний внутренние, и снаружи их не проверить.

Поэтому всё, что ниже, — заявка разработчика. По ней K3.1 Pro первая или делит первое место в 16 строках из 47 и вторая ещё в 15. В таблицах — её результат и место среди моделей, у которых есть цифра в этой строке (их не больше шести); конкретных соперников упоминаем в тексте. Независимый замер пока один, от Artificial Analysis, он идёт после таблиц.

Код

Программирование

Лучше всего K3.1 Pro чувствует себя в длинных инженерных задачах. В SWE-Marathon она впереди всех, в Terminal-Bench 4.0 уступает Claude Opus 5.5 всего 0,7 пункта (66,4) и обходит GPT-6 Astra (58,2). На собственном Kimi Code Bench 3.0 результат вырос с 55,95 у K3 до 61,2, но выше всех там GPT-6 Astra.

Провалы тоже видны. В ProgramBench, где засчитывается только почти идеальное воспроизведение программы, у неё 31,5 против 65,0 у Opus 5.5. В научных задачах Terminal-Bench-Science — 38,1, а у закрытых флагманов 63–68. В BenchCAD, где 3D-деталь нужно восстановить по картинкам через CAD-код, — 92,7: близко к лидерам, но ниже Opus 5.5 и GPT-6 Astra.

Агенты

Поиск, офис, управление компьютером

Здесь картина ровнее. Экзамен HLE с инструментами K3.1 Pro сдаёт лучше всех в таблице, в долгом поиске по интернету BrowseComp тоже первая. Для разбора финансовых документов в OfficeQA Pro v2 Moonshot заявляет лучший результат среди всех моделей вообще. Управление компьютером в OSWorld и офисные задачи GDPval-AA — немного ниже Opus 5.5, но выше GPT-6 Astra. Заметнее всего отставание в APEX-Agents: 67,2 против 73,5 у Opus 5.5.

Знания

Без инструментов и со зрением

Без поиска и интерпретатора модель заметно уступает закрытым флагманам. В HLE-Diamond, подборке из тысячи вопросов экзамена, у неё 39,4 против 60,9 у Opus 5.5 и 65,8 у GPT-6 Astra. Научные вопросы GPQA Diamond она решает на уровне лучших, 94,2. В понимании картинок K3.1 Pro позади Opus 5.5 и GPT-6 Astra, но заметно опережает DeepSeek.

Независимо

Что показал замер Artificial Analysis

Artificial Analysis прогоняет модели через собственный набор из девяти испытаний и сводит результат в индекс. У K3.1 Pro на 29 октября 2026 года это 46 баллов пятой версии индекса — выше среднего для её ценового класса. Собственный прогон Terminal-Bench 4.0 у площадки дал 67,2 %, даже чуть больше, чем заявила Moonshot. В классическом экзамене HLE — 52,5 %.

У того же замера две оговорки. Модель медленная: около 36 токенов в секунду, 191-е место из 193. И многословная: на прогон индекса она выдала 110 млн токенов при медиане 64 млн, и одна задача индекса в среднем стоила $3,68. Весов ещё нет, и площадка пока числит K3.1 Pro закрытой моделью. На арене LMArena, где люди вслепую сравнивают ответы, её пока нет: последний срез, 22 октября, сделан до выхода модели.

Сопоставить K3.1 Pro с Qwen, DeepSeek, GLM и другими моделями можно в сравнении нейросетей из Китая.

Точность

Как часто модель путает факты

Для финансовой работы Moonshot отдельно занималась фактической точностью. Внутренний тест Kimi Hallu Bench собран из трудных рабочих запросов, на которых модели чаще всего выдумывают, а ответы проверяют агенты-фактчекеры. Считают долю ложных утверждений: чем она меньше, тем лучше.

В жёсткой версии с инструментами, Kimi Hallu Bench Hard, у K3.1 Pro 8,3 % ложных утверждений, в обычной без инструментов — 5,4 %. В обоих случаях это второй результат из шести: реже ошибается только GPT-6 Astra (5,5 и 4,2 %), а у Claude Opus 5.5 выходит 15,0 и 6,8 %.

У K3 в жёсткой версии было 23,4 %, а ответов хотя бы с одной ошибкой у новой модели стало 42,4 % от прежнего числа. В руководстве по API на 29 октября 2026 года у того же сравнения другие цифры: 23,35 % у K3 и 6,85 % у K3.1 Pro, а доля ответов с ошибкой — 46,4 % от прежней. Здесь — данные анонса.

Безопасность

Почему кибервозможности урезаны намеренно

По мере дообучения в Moonshot заметили, что модель всё лучше ищет и взламывает уязвимости. Источник нашёлся в данных: тексты о кибербезопасности, рассыпанные по общему корпусу промежуточного обучения, и похожие задачи в наборе сред для RL. Перед открытым выпуском эти материалы удалили и из корпуса, и из набора сред, сохранив обычные задачи по программированию.

Эффект измерили на внутреннем xdev-bench-hard: эксплойты к недавно раскрытым уязвимостям в ядре Linux, Node.js, JavaScriptCore, Exim и VirGL при включённых защитах. Контрольный вариант без чистки справлялся с 90,5 % задач, выпущенная K3.1 Pro — с 81,0 %. В ExploitBench и ExploitGym у неё 74,7 и 20,7 против 91,0 и 34,5 у Opus 5.5. Логика компании такая: открытые веса не должны поднимать потолок наступательных возможностей, доступных кому угодно. По её оценке, K3.1 Pro здесь уступает закрытым флагманам, которые публично доступны хотя бы три месяца.

Читайте в номере