ПСБ публикует метрики тестирования RAG: Hit Rate, MRR и Logprobs против галлюцинаций Михаил Костецкий из отдела обеспечения качества ПСБ впервые описал конкретную систему метрик для проверки RAG-систем в банке — от оценки релевантности поиска до выявления галлюцинаций через анализ вероятностей токенов. Кто и зачем исследовал Материал основан на практическом опыте отдела QA ПСБ при внедрении Retrieval Augmented Generation — технологии, которая заставляет LLM искать факты в базе знаний компании пе…
