F1-score 0.88 при извлечении требований: структурированные промпты опережают универсальные на 24%

Мультимодельная система ReqFusion с PEGS-промптингом показала F1-score 0.88 против 0.71 у обычных промптов — и сократила время анализа требований на 78% по сравнению с ручной работой. Исследование трех университетов на 1050 требованиях доказывает: детализированный контекст в промпте дает больше, чем просто «извлеки требования из документа».

Кто и как исследовал

Muhammad Khalid, Manuel Oriol и Yilmaz Uygun протестировали систему на 18 документах из академической, промышленной и тендерной сфер, затем расширили эксперимент до 5 проектов с 1050 требованиями. Статья принята на воркшоп VerifAI-2026 (ETAPS 2026), опубликована в марте 2026 года. ReqFusion извлекает функциональные и нефункциональные требования из PDF, DOCX и PPTX, используя OpenAI GPT, Anthropic Claude и Groq с механизмами консенсуса и fallback.

Ключевые цифры

F1-score 0.88 для PEGS-guided промптинга против 0.71 для generic промптинга в мультимодельной конфигурации — прирост 24%
226 требований автоматически извлечено из 18 документов: 54.9% функциональных, 45.1% нефункциональных
78% сокращение времени анализа по сравнению с ручными методами на тестовом наборе из 1050 требований
Система обрабатывает три формата документов (PDF, DOCX, PPTX) и работает в трех доменах — академический, бизнес, технический
Мультимодельная архитектура повышает надежность через консенсус между GPT, Claude и Groq

Почему PEGS работает лучше универсальных промптов

PEGS-метод Бертрана Мейера — это структурированный формат требований: Project (контекст проекта), Environment (окружение), Goal (цель), System (система). Детализированный формат дает LLM больше информации и подсказок для точной классификации — не просто «найди требования», а «классифицируй по категориям PEGS с учетом контекста проекта».

Ablation study подтвердил гипотезу: PEGS-промптинг достиг F1-score 0.88 против 0.71 у обычного промптинга. Система использует domain-independent метод извлечения — работает в разных отраслях без дообучения. Мультипровайдерная архитектура с тремя LLM обеспечивает fallback-механизмы и повышает точность через голосование моделей. Расширенное тестирование на 5 проектах показало почти 80% экономию времени аналитиков.

Как устроена мультимодельная архитектура

ReqFusion запрашивает три модели параллельно — OpenAI GPT, Anthropic Claude и Groq — и использует механизм консенсуса для финального решения. Если одна модель недоступна, система переключается на fallback. Голосование между моделями повышает точность: если две из трех моделей классифицировали требование как функциональное, система принимает этот результат. Подход снижает риск hallucinations и зависимости от одного провайдера.

Что это значит для CTO и ML-команд

Три практических вывода для production-систем:

1. Структурированные промпты дают +24% по F1-score
Вместо универсальных инструкций типа «извлеки данные из документа» используйте детализированные форматы с контекстом задачи. PEGS-подход показывает: чем больше информации о таксономии и целях в промпте — тем точнее результат. Метод применим к классификации, извлечению entities, анализу отзывов — любым задачам с четкими категориями.

2. Мультипровайдерная архитектура снижает риски простоев
Консенсус между OpenAI, Anthropic и Groq с fallback-механизмами устраняет vendor lock-in и повышает SLA. Если один провайдер лежит или выдает hallucination — система продолжает работать. Для критичных production-систем стоит рассмотреть параллельные запросы к нескольким LLM с голосованием.

3. Экономия 78% времени освобождает ресурсы для сложных задач
Автоматизация извлечения и классификации требований высвобождает аналитиков для архитектурных решений и валидации бизнес-логики. 1050 требований — это недели ручной работы, система обрабатывает их за часы. Подход масштабируется на анализ контрактов, технической документации, compliance-проверки.

Источник: arXiv:2603.23482v1

F1-score 0.88 при извлечении требований: структурированные промпты опережают универсальные на 24%

Похожие статьи

Поделиться в соц. сетях

Комментарии