Яндекс выложил тест рассуждений MTGBench

27 октября инженеры Яндекса и студенты Школы анализа данных выложили открытый набор тестов MTGBench. Он проверяет, как модель рассуждает в задаче из десятков шагов, и считает не только итог, но и число шагов до него. Статью приняли на конференцию EMNLP 2026. Набор нужен компаниям и разработчикам, чтобы выбирать модель под свою многошаговую задачу.

В основе 7 текстовых игр, среди них «Поле чудес», «Данетки», «Элиас» и Wordle. Задания даны на русском и английском. Каждый следующий ход зависит от предыдущего, как в разговоре, где человек добавляет даты, бюджет или уже сделанные попытки. Игры смотрят, умеет ли модель учитывать новые данные, планировать ход и не противоречить своим прошлым ответам.

В 4 играх ответ проверяет программа, в 3 ответ проверяет другая модель, и её работу дополнительно сверили люди. На наборе прогнали 16 моделей, от компактной Qwen до крупных Gemini и GPT. Режим рассуждений сильнее всего помогает там, где нужно работать с буквами, разбирать подсказки и отбрасывать неверные варианты. В задачах на знания и смысл прибавка слабее и зависит от модели.

Высокий балл в одной игре не обещает такого же в другой. Задания на русском даются хуже, чем на английском. Сильнейшие модели с режимом рассуждений взяли более высокий средний балл, чем люди, во всех 7 играх. Ранее Сбер выложил модель с рассуждениями. Набор меряет, где такой режим сокращает путь.

Для интернет-маркетинга такой диалог ближе к заявке, где человек по ходу добавляет сроки и бюджет. Искусственный интеллект с высоким баллом в одной игре может провалить соседнюю, поэтому модель стоит прогнать на своей задаче. Русский в этом наборе слабее английского. В оценку входит и число шагов до ответа. Сравнивать модели лучше заранее, до запуска.