CalorieCLIP: Точная оценка калорийности еды

Что умеет модель?

CalorieCLIP — дообученная модель CLIP, которая оценивает калорийность блюда по фотографии. Средняя абсолютная ошибка: 51.4 калории. 90.5% предсказаний укладываются в погрешность ±100 калорий.

 

 

Как обучена модель?

Базовая модель: OpenAI CLIP ViT-B/32. Дообучены последние 2 трансформер-блока + регрессионная голова (4 слоя). Обучение на 13 004 примерах: датасет Nutrition5k (5 006 изображений столовой еды с профессиональными замерами калорий) + подмножество Food-101. Функция потерь: Huber Loss, 30 эпох.

 

Сравнение с другими моделями

 

Примеры предсказаний

 

Области применения

Подсчёт калорий по фото блюда в мобильных приложениях для питания.

Мониторинг рациона без ручного ввода данных.

Интеграция в фитнес-трекеры и диетологические сервисы.

 

Ссылки

jc-builds/CalorieCLIP