RT-DETRv2: Обнаружение объектов в реальном времени с улучшенной базой

Обзор

Модель RT-DETRv2 была предложена в работе RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer Вэньюем Лв, Ианом Чжао, Циняо Чангом, Куем Хуаном, Гуаньчжуном Вангом и И Лю. RT-DETRv2 дорабатывает RT-DETR, внедряя селективное извлечение многомасштабных признаков, дискретный оператор выборки для более широкой совместимости развертывания и улучшенные стратегии обучения, такие как динамическое увеличение данных и адаптивные к масштабу гиперпараметры.

Эти изменения повышают гибкость и практичность, сохраняя при этом производительность в реальном времени.

Эта модель была разработана [@jadechoghari](https://x.com/jadechoghari) при содействии [@cyrilvallez](https://huggingface.co/cyrilvallez) и [@qubvel-hf](https://huggingface.co/qubvel-hf).

Производительность

RT-DETRv2 стабильно превосходит своего предшественника во всех размерах моделей, сохраняя при этом те же скорости работы в реальном времени.

Применение

Модель RT-DETRv2 эффективно используется для обнаружения объектов на изображениях. Процесс использования включает загрузку предварительно обученной модели и процессора изображений, подготовку входного изображения и последующую обработку полученных результатов. Ниже представлен краткий пример использования:

from transformers import RTDetrV2ForObjectDetection, RTDetrImageProcessor

# Загрузка изображения
image = Image.open(requests.get(url, stream=True).raw)

# Инициализация процессора изображений и модели
image_processor = RTDetrImageProcessor.from_pretrained("PekingU/rtdetr_v2_r50vd")
model = RTDetrV2ForObjectDetection.from_pretrained("PekingU/rtdetr_v2_r50vd")

# Обработка изображения и получение предсказаний
inputs = image_processor(images=image, return_tensors="pt")
outputs = model(**inputs)
results = image_processor.post_process_object_detection(outputs, ...)

В результате работы модели вы получите список обнаруженных объектов с их классами, оценками достоверности и координатами ограничивающих рамок. Модель способна распознавать

• людей
• велосипеды
• машины
• автобусы
• самолеты
• и многие другие объекты (всего 50 классов)

что делает её универсальным инструментом для различных задач компьютерного зрения.

Обучение

RT-DETRv2 была обучена на наборе данных COCO (Lin et al. [2014]) train2017 и валидирована на наборе данных COCO val2017. Она обеспечивает стандартные метрики качества на этих бенчмарках, подтверждая свою эффективность для задач обнаружения объектов.

Ссылки

PekingU/rtdetr_v2_r50vd