Moonshot AI выпустил крупнейшую открытую ИИ-модель Kimi K3

Китайский ИИ-стартап Moonshot AI представил Kimi K3 — первую в мире открытую модель класса 3T с 2,8 трлн параметров, нативным зрением и контекстом на 1 млн токенов. По собственным оценкам проекта, в общем зачете она уступила только проприетарным Claude Fable 5 и GPT 5.6 Sol.

Kimi K3 построена на новой архитектуре Kimi Delta Attention (KDA) и Attention Residuals (AttnRes). KDA позволяет эффективнее обрабатывать длинные последовательности данных, а AttnRes извлекает нужную информацию не со всех слоев одинаково, а выборочно. В результате модель глубже понимает контекст и сохраняет смысл даже при обработке сложных текстов.

За разреженность отвечает фреймворк Stable LatentMoE: из 896 экспертов одновременно работают только 16. Это в совокупности с новыми данными и настройками обучения дало рост эффективности в два с половиной раза по сравнению с K2.

По словам разработчиков, девять из последних 12 месяцев модели Kimi удерживали рекорд по размеру среди открытых моделей.

Новая модель Moonshot AI уже доступна на сайте, в Kimi Work, Code и API. По умолчанию включен максимальный режим размышления, другие появятся позже. Полные веса и отчет выложат 27 июля.

Результаты на бенчмарках

На части тестов K3 показала результаты выше, чем у Fable 5 и GPT-5.6 Sol, но на других заметно отстала. Она лидирует на SWE Marathon (42 против 35 и 39), BrowseComp (91,2 против 88 и 90,4) и Program Bench (77,8 против 76,8 и 77,6). На Terminal Bench 2.1 у K3 — 88,3 балла: это выше Fable 5 (84,6) и всего на 0,5 балла ниже Sol (88,8).

При этом на FrontierSWE K3 набрала 81,2 против 86,6 у Fable 5, а на HLE-Full — 43,5 против 53,3. Методики тестирования при этом отличались: часть моделей оценивалась через Claude Code, другая — через Codex или собственный KimiCode.

Кодинг и агентные задачи

K3 умеет вести долгие инженерные сессии почти без участия человека, ориентироваться в больших репозиториях и управлять терминальными инструментами.

В тесте оптимизации GPU-ядер модели независимо работали до 24 часов над четырьмя задачами — включая ядра AttnRes, KDA и MLA с размерностью головы 512 — на NVIDIA H200 и GPU другого производителя. K3 показала результат на уровне Fable 5 и заметно обошла Opus 4.8, GPT-5.6 Sol и GPT-5.5. На поздних этапах разработки ранняя версия K3 самостоятельно выполняла большую часть такой оптимизации внутри команды Moonshot.

Отдельно модель с нуля написала MiniTriton — компактный компилятор для GPU-ядер с собственным IR-слоем поверх MLIR и генерацией PTX-кода.

Проектирование чипов и разработка игр

В качестве демонстрации K3 самостоятельно спроектировала чип для нейросети на собственной архитектуре.

Автономный запуск занял 48 часов: модель использовала open-source EDA-инструменты и библиотеку Nangate 45 нм. Чип уместился в 4 мм², держит частоту 100 МГц и выдает более 8700 токенов в секунду в симуляции. Он включает 1,46 млн стандартных ячеек, 0,277 МБ SRAM и INT4 MAC-массив со встроенной деквантизацией.

K3 также сочетает 3D-рассуждение, код и зрение для создания игровых и интерактивных прототипов из концептов, изображений и видео.

Работа со знаниями и видео

В одном из кейсов K3 воспроизвела универсальные соотношения I-Love-Q из вычислительной астрофизики. На это ушло около двух часов вместо одной-двух недель работы опытного исследователя. Модель проверила более 20 научных статей, оценила свыше 300 уравнений состояния, нашла несогласованности в опубликованных формулах и написала более 3000 строк кода на Python, оформив результат в интерактивный HTML-дашборд.

В другом случае K3 подготовила интерактивный отчет о 42 годах истории индустрии ASIC-чипов за 120 раундов рекурсивного самоулучшения, обработав более 11 000 страниц из 87 квартальных отчетов и 99 оригинальных PDF.

Благодаря нативной работе с видео K3 умеет монтировать ролики: в одном примере модель сделала объясняющую анимацию собственной архитектуры в стиле 3Blue1Brown, в другом — самостоятельно смонтировала тизер о своем запуске из 56 исходных клипов, включая подбор кадров, синхронизацию с музыкой и обработку звука. По оценке Moonshot, такая работа заняла бы у опытного монтажера один-два дня, а у новичка — три-пять.

Ограничения

Команда проекта подчеркнула, что K3 чувствительна к потере истории размышлений при переключении агентной среды в середине сессии, может проявлять чрезмерную инициативу в неоднозначных ситуациях. По удобству использования модель пока заметно уступает Fable 5 и GPT-5.6 Sol.

Напомним, в июле 2025 года Moonshot AI выпустила Kimi K2 — первую модель линейки с 1 трлн параметров, которая быстро стала одной из ведущих открытых систем для агентных задач.