Обнаружение и классификация кассовых чеков и квитанций

Что это за модель и какую задачу решает

Модель jnmrr/rtdetr-v2-voucher-classifier — это система обнаружения объектов с задачей классификации типов кассовых чеков и документов (voucher) на изображении. Основанная на архитектуре RT-DETRv2, она одновременно определяет координаты объектов (bounding boxes) и относит каждый обнаруженный объект к одному из трёх классов: цифровые чеки, физические чеки на пустых страницах и небольшие платежные квитанции.

Ключевые возможности

• Обнаружение и локализация чеков/квитанций на фото документа

• Классификация обнаруженного объекта по 3 категориям: цифровой чек, физический чек, платежная квитанция

• Поддерживает фото/сканы разных типов бумажных документов

• Подходит для предварительного этапа обработки перед OCR или парсингом текста

Техничесные особенности

• Основана на RT-DETRv2 (Real-Time Detection Transformer) — архитектуре трансформерного детектора объектов с efficient-деценторами

• Обучена на специализированном наборе чеков с трёхклассовой разметкой — digital, fisico, tesoreria

• Возвращает bounding boxes с метками класса и confidence score

• Интегрируется через стандартные API Hugging Face — AutoImageProcessor + AutoModelForObjectDetection

Преимущества перед альтернативами

• Одновременно решает детекцию + классификацию, в отличие от отдельных моделей

• Архитектура DETR-по-варианту обеспечивает единый пайплайн без сложной post-processing

• Готова к промышленной интеграции — подходит для batch-обработки и OCR-конвейеров

Ограничения

• Производительность оценки показана как низкая в метриках (мAP ~0) на тестовом датасете — может потребовать дообучения для реальных условий

• Обучена на узком наборе документных форматов — может ошибаться на очень нестандартных чеках или счётах

• Требует изображений с достаточным качеством и контрастом

Бизнес-кейсы (Use Cases)

1. Автоматизация учёта расходов и чеков

Модель обнаруживает чеки на фото и автоматически классифицирует их по типам перед передачей в OCR-систему.

2. Обработка финансовых документов клиентов

На базе мобильной загрузки чеков/квитанций в приложении модель сразу выделяет и маркирует документы.

3. Интеграция с ERP/CRM

Система автоматически подготавливает изображения для парсинга данных и ввода в бухгалтерские модули.

4. Архивирование и цифровой учёт

Автоматическое распознавание и сортировка корпоративных кассовых документов в архивы по типам.

Потенциальная ценность для бизнеса

Снижение затрат:
Автоматизация поиска и классификации документов снижает ручную работу сотрудников.

Ускорение процессов:
Быстрая обработка документов становится частью OCR-конвейера и ускоряет ввод данных.

Повышение качества данных:
Стандартизированная предварительная сегментация помогает избежать ошибок в парсинге текста.

Интеграция:
Модель легко встраивается в современные пайплайны обработки изображений и документооборота.