SegFormer b0: Сегментация изображений ADE20k 512x512

Обзор модели SegFormer (b0)

Модель SegFormer, размерности b0, тонко настроенная на наборе данных ADE20k с разрешением 512x512. Она была представлена в статье SegFormer: Простой и эффективный дизайн для семантической сегментации с Трансформерами авторами Xie и др., и впервые выпущена в этом репозитории. Обратите внимание: команда, выпустившая SegFormer, не предоставила карточку модели, поэтому эта карточка была подготовлена командой Hugging Face.

Описание модели

SegFormer состоит из иерархического энкодера-Трансформера и легковесной декодирующей головки на основе MLP, что позволяет достигать отличных результатов в задачах семантической сегментации, таких как ADE20k и Cityscapes. Иерархический Трансформер сначала предварительно обучается на ImageNet-1k, после чего добавляется декодирующая головка, и вся модель совместно дообучается на целевом наборе данных.

Предполагаемые варианты использования и ограничения

Вы можете использовать эту модель для семантической сегментации. Для поиска тонко настроенных версий под интересующую вас задачу, обратитесь к центру моделей.

Вот пример использования этой модели для классификации изображения из набора данных COCO 2017 в один из 1000 классов ImageNet:

Больше примеров кода можно найти в документации.

Список классов сегментации

• 0: стена

• 1: здание

• 2: небо

• 3: пол

• 4: дерево

• 5: потолок

• 6: дорога

• 7: кровать

• 8: оконное стекло

• 9: трава

• 10: шкафчик

• 11: тротуар

• 12: человек

• 13: земля

• 14: дверь

• 15: стол

• 16: гора

• 17: растение

• 18: занавеска

• 19: стул

• 20: машина

• 21: вода

• 22: картина

• 23: диван

• 24: полка

• 25: дом

• 26: море

• 27: зеркало

• 28: ковер

• 29: поле

• 30: кресло

• 31: сиденье

• 32: забор

• 33: стол письменный

• 34: камень

• 35: гардероб

• 36: лампа

• 37: ванна

• 38: перила

• 39: подушка

• 40: основание

• 41: коробка

• 42: колонна

• 43: вывеска

• 44: комод

• 45: прилавок

• 46: песок

• 47: раковина

• 48: небоскреб

• 49: камин

Ссылки

nvidia/segformer-b0-finetuned-ade-512-512

Ссылки

https://https://huggingface.co/nvidia/segformer-b0-finetuned-ade-512-512