ПСБ публикует метрики тестирования RAG: Hit Rate, MRR и Logprobs против галлюцинаций

Михаил Костецкий из отдела обеспечения качества ПСБ впервые описал конкретную систему метрик для проверки RAG-систем в банке — от оценки релевантности поиска до выявления галлюцинаций через анализ вероятностей токенов.

Кто и зачем исследовал

Материал основан на практическом опыте отдела QA ПСБ при внедрении Retrieval Augmented Generation — технологии, которая заставляет LLM искать факты в базе знаний компании перед генерацией ответа. Критично для финтеха: одна галлюцинация в ответе клиенту — репутационный удар. Публикация вышла в марте 2025 года на Habr.

Трёхуровневая система метрик качества

Уровень 1 — качество поиска:

Hit Rate — извлекла ли система релевантные документы из базы знаний
Mean Reciprocal Rank (MRR) — на какой позиции в результатах оказался самый подходящий документ

Уровень 2 — точность ответа:

Factual Accuracy — процент фактически верных утверждений в сгенерированном тексте
Проверка через LLM-арбитр + обязательная ручная верификация

Уровень 3 — качество изложения:

Ясность, структура, релевантность, полезность
Пока оценивается преимущественно вручную

Как банк борется с галлюцинациями

Logprobs-анализ: ПСБ проверяет вероятности, с которыми модель предсказывает разные варианты ответа. Пример: «Небо чистое» с logprob –1,6 против «Небо голубое» с –0,96 — второе достовернее. Низкие вероятности сигналят о неуверенности модели.

«Золотой стандарт»: автоматические метрики сравниваются с эталонными ответами, написанными людьми.

Проверочные вопросы: система получает вопросы о данных, на которых не обучалась — выявляет склонность к выдумыванию фактов.

Три подхода к разделению документов на чанки

ПСБ тестирует разные способы нарезки текстов перед отправкой в векторную базу:

Семантическое разделение через LLM — самое точное, но дорогое
«Скользящее окно» с перекрытием — токены 1-200, затем 150-250 и так далее
Структурное по знакам препинания — дешёвое, но может разрывать смысловые блоки

Для векторизации используются embedding-модели. Дополнительно применяются алгоритмы TF-IDF или BM25 — они добавляют лексическую релевантность к векторному поиску.

Инструменты которые использует банк

LlamaIndex и LangChain — для работы с чанками и оптимизации разделения документов. Обе библиотеки позволяют экспериментировать с размером фрагментов и методами индексации без переписывания всей системы.

Что это значит для CTO и ML-команд

Если внедряете RAG в финтехе, страховании или другой критичной области — опыт ПСБ даёт конкретный чеклист:

Внедрите трёхуровневую систему метрик: поиск (Hit Rate, MRR), точность (Factual Accuracy), изложение — не полагайтесь на один показатель
Используйте LLM-арбитры для автоматизации проверки фактов, но обязательно дополняйте ручной верификацией — модель проверяет модель, нужен человеческий контроль
Создайте тестовый набор «вопрос-ответ» с разметкой источников для регулярного прогона системы — это ваш золотой стандарт
Экспериментируйте с методами чанкинга от дешёвого структурного до дорогого семантического и замеряйте влияние на качество поиска — разница может быть в разы
Анализируйте Logprobs для выявления областей неуверенности модели и настройки температуры генерации — низкие вероятности = красный флаг
При работе с клиентскими данными RAG — не опция для улучшения качества, а необходимость для управления репутационными рисками

Источник: Habr

ПСБ публикует метрики тестирования RAG: Hit Rate, MRR и Logprobs против галлюцинаций

Похожие статьи

Поделиться в соц. сетях

Комментарии