70% AI-бенчмарка прошли без нейросетей — Python-скрипт заменил reasoning-модели за $0

Команда разработчиков прошла 20 из 28 задач закрытого бенчмарка PAC1 без единого API-вызова к LLM. Вместо дорогих reasoning-моделей использовали регулярные выражения и конечный автомат — при нулевых затратах на inference и 100% надёжности формата.

Кто и как исследовал

Эксперимент проведён на корпоративном хакатоне по обходу AI-песочниц в 2026 году. Задача: пройти закрытый бенчмарк PAC1, где AI-агент работает с виртуальной файловой системой (чтение логов, поиск файлов, отправка писем) и обходит ловушки безопасности через Indirect Prompt Injections.

Reasoning-модели постоянно галлюцинировали, ломали структуру JSON и сжигали бюджет на API. Автор заменил нейросети на алгоритмический подход — концепт Zero-Cost Agent: Python-скрипт с регулярками вместо промпт-инженерии.

Ключевые цифры

Точность формата: 100% валидный JSON против 40-60% у LLM при парсинге структурированных ответов NextStep.

Стоимость inference: $0 против экспоненциального роста затрат из-за зацикливания reasoning-моделей на одних и тех же ошибках.

Безопасность: максимальный балл за блокировку Prompt Injection — хардкод-фильтры на триггерные слова ("hijack", "rm -rf", "ignore local rules") оказались надёжнее контекстного анализа LLM.

Охват задач: 20 сложных заданий включая работу со счетчиками, поиском почты и обходом систем безопасности — всё на детерминированной логике.

Три критических провала LLM в структурированных задачах

Разрушение формата. Бенчмарк требовал строгий JSON-формат NextStep, но reasoning-модели выдавали неструктурированные ответы вперемешку с "размышлениями", ломая парсеры.

Потеря контекста. LLM теряли состояние между шагами многоэтапных задач (чтение счетчика → запись письма → обновление счетчика). Глобальная переменная _TEMP_SEQ_ID в Python-скрипте решила это тривиально.

Уязвимость к инъекциям. При столкновении с Indirect Prompt Injection в логах (команды типа "rm -rf") модели послушно выполняли вредоносные инструкции вместо их блокировки.

Почему конечный автомат обошёл нейросети

Автор проанализировал датасет бенчмарка и обнаружил статичность сценариев. Вместо дорогих API-вызовов: регулярные выражения читали промпт, искали триггерные слова и отдавали идеально структурированный JSON.

Примитивный security-фильтр на хардкоде блокировал все adversarial-атаки, которые reasoning-модели пропускали через "контекстное понимание". Решение показало абсолютную предсказуемость вывода там, где LLM давали вероятностный разброс.

Что это значит для CTO и ML-команды

Проверяйте детерминированность перед масштабированием LLM. В задачах с повторяющимися паттернами (обработка форм, роутинг запросов, валидация безопасности) конечные автоматы обеспечивают 100% надёжность формата при нулевых затратах на inference.

Анализируйте продакшн-данные на статичность. Если 70% сценариев укладываются в N шаблонов — хардкод справится лучше нейросети. Используйте гибридные архитектуры: детерминированная логика для структуры + LLM для генерации контента.

Внедряйте adversarial-тесты. Reasoning-модели всё ещё проигрывают примитивным алгоритмам в задачах с Prompt Injection. Для критичных цепочек действий нужны явные фильтры, а не полагаться на "понимание" модели.

Пересмотрите бенчмарки. Если закрытый AI-тест можно пройти на регулярках — он измеряет не интеллект агента, а умение подгонять решение под статичный датасет.

Источник: Habr — Как мы хакнули ИИ-бенчмарк PAC1 без нейросетей

70% AI-бенчмарка прошли без нейросетей — Python-скрипт заменил reasoning-модели за $0

Похожие статьи

Поделиться в соц. сетях

Комментарии