«Где тут позвонок Th1?»: как мы перестали играть контрастом и доверили разметку позвонков YOLO

От рутины к автоматизации: зачем мы построили VerteScan

В рутинной практике спинального хирурга или рентгенолога разметка позвонков на полноростовом снимке – это 20–40 минут кропотливой ручной работы. Нужно расставить концы проекций замыкательных линий (92 точки!), рассчитать множество параметров, проверить, не ошибся ли с позвонком Th1, который вечно прячется за грудиной. Вдобавок два разных врача на одном и том же снимке могут поставить точки чуть‑чуть по‑разному, и разница в расчётах потянет за собой разные хирургические стратегии.

Существующие решения – это примитивное программное обеспечение, которое автоматизирует только расчёты. Но с уходом с российского рынка ряда западных медицинских сервисов и неопределённостью с доступом и ценовой политикой оставшихся возникла ещё одна задача: сделать инструмент, который будет доступен независимо от внешних обстоятельств. На стыке этих двух проблем – автоматизации и импортозамещения – мы и начали строить VerteScan.

VerteScan автоматизирует весь процесс. Вы загружаете рентгенограмму (DICOM), и через несколько секунд система сама наносит разметку и готовый расчёт параметров. При желании врач может подправить любую точку встроенным редактором – и все цифры пересчитаются мгновенно.

Рисунок 1. Интерфейс платформы.

Данные

Небольшое отступление о том, что вообще подразумевается под «разметкой». Врачи не размечают просто «позвонок» абстрактным баундинг-боксом – им нужна подробная анатомическая карта, в основе которой лежит схема из 92 ключевых точек, которые расставлены по краям замыкательных пластин позвонков от C2 (аксис) до S1 (крестец). Каждая точка имеет свою характеристику, которая сразу говорит о её местоположении относительно позвонка: точка может быть верхней или нижней (принадлежать верхней или нижней пластине) и передней или задней (быть ближе к передней или задней части тела). Получается, что, например, третий шейный позвонок C3 описывается четырьмя точками: C3TF, C3TB, C3BF, C3BB. Исключение – позвонки C2 и S1: у них размечаются только по две точки (на нижней и верхней пластинах, соответственно). Итого: 92 точки!

Такая детализация – не прихоть. Чтобы рассчитывать сагиттальный баланс автоматически, недостаточно просто найти позвонки; нужны конкретные углы наклонов замыкательных пластин, а значит, модель должна ориентироваться в пространстве, выдавать координаты с точностью, которая сопоставима с разбросом мнений между экспертами. Поэтому мы потратили много сил на сбор, валидацию и чистку датасета (впрочем, как и в любой ML задаче).

Всего мы собрали около 1850 разметок из нескольких российских клиник. Это были снимки с разных аппаратов, разного качества, с пациентами разной комплекции и возраста. Врачи размечали позвонки и ключевые точки в своём софте, затем мы выгружали результаты в единый формат. Из общего массива 150 снимков были «эталонными» – каждый снимок был размечен сразу тремя независимыми специалистами, на них (на снимках) мы потом измеряли метрику PCK (Percentage of Correct Keypoints).

Затем мы провели валидацию данных. Первым делом автоматически проверяли полноту разметки. Бывало, что в разметке отсутствует какой-нибудь позвонок, или в файле вообще отсутствовала разметка. Следующий этап - смотрели глазами. В нескольких случаях разметка «съезжала» на целый позвонок (ох уж этот грудной отдел). Среди «эталонных» снимков попадались с существенной рассогласованностью между разметчиками – один специалист видит так, другой – иначе. Врач-нейрохирург из нашей команды выбирал наиболее «правильную» разметку, её мы оставляли для обучения.

В итоге мы сгенерировали COCO‑датасет. К сожалению, открыто доступна лишь малая его часть.

Две ветки, один ноут и 8 ГБ видеопамяти

Задача сводится к поиску ключевых точек на медицинском снимке. По сути, речь идёт об оценке позы (pose estimation) – только не человека в целом, а конкретно позвоночника. То есть модель должна одновременно понимать, где позвонок, какого он типа, и в каких именно местах проходят его замыкательные пластины.

Было принято стратегическое решение вести разработку параллельно: одна группа мучала RTMPose, вторая взялась за Ultralytics YOLO. Я из второй группы, так что дальше рассказываю про наши приключения.

YOLO11 отлично решает задачу сегментации позвонков и детекции ключевых точек одновременно. На вход подаётся изображение, которое внутри модели превращается в массив numpy.ndarray, на выходе – bounding boxes, классы позвонков и координаты концов замыкательных линий.

Данных много, особенно в медицине, не бывает, поэтому экспериментировали с различными аугментациями. Albumentations из коробки завести не удалось (уже и не вспомню причину) – быстренько написали свой инициализатор. Пространственные трансформации не прикрутить – нет поддержки, а делать форк времени не было. В итоге, по совету врачей, оставили две спецфичные аугментации: MotionBlur (пациенты, особенно дети, часто слегка двигаются во время снимка, так что эта «смазанности» только на пользу моделию) и RandomToneCurve. Ещё реальный случай – иногда на плёнках встречаются маленькие белые точки в рандомных местах (технические дефекты, артефакты: чаще всего – это следы грязи, пыли или частицы фиксирующего раствора).

С учётом того, что ресурсы у нас были «детские» (один ноут с 8 ГБ видеопамяти) каждый эксперимент – это день счёта (~150-250 эпох). Как-то много лет назад, когда я ещё был далёк от ML, услышал разговор двоих специалистов: "Классно нам - поставили утром гиперпараметры перебирать и весь день свободны!". Вот и мы поступили мудро - поставили перебор параметров и отправились в сплав по реке)

Как мы PCK мерялись

Главной метрикой была PCK@X: процент ключевых точек, для которых расстояние до эталонной не превышает X% от размера позвоночника на снимке. В задачах pose estimation эту метрику обычно считают относительно размера человека целиком. Но в нашем случае такой подход плохо работал: нас интересовал только позвоночник, а размеры снимков и положение пациента могли заметно отличаться. Поэтому мы нормировали ошибку относительно самого позвоночника.

Размер позвоночника вычислялся достаточно просто:

· находили минимальные и максимальные координаты всех размеченных точек по оси X и по оси Y;

· получали таким образом «ширину» и «высоту» позвоночника;

· в качестве итогового размера брали максимальное из этих двух значений.

Дальше всё сводилось к простому вопросу: насколько далеко модель промахнулась относительно референсной точки. Например, метрика PCK1 считала предсказание правильным, если ошибка не превышала 1% от размера позвоночника.

RTMPose показала себя аккуратнее в детекции позвонков (см. ниже про постановку задачи) – особенно в грудном отделе она реже «терялась». Зато YOLO точнее находила ключевые точки. Обратная сторона: YOLO иногда видела два позвонка там, где на самом деле один (чаще всего TH3‑TH4), как на рисунке 2. Из‑за этого «плыл» весь столб, и приходилось править руками. Модель хорошо запоминает последовательность позвонков, и сразу после ложно определённого Th4 рисует Th5. Жаль, что в Ultralytics (YOLO) нет механизма ограничения количества детектируемых объектов строго по каждому отдельному классу. Возможно, это помогло бы.

Разница в поставленных задачах: RTMPose учили находить «столб» целиком (все ключевые точки – единая структура); Ultralytics YOLO учили сегментировать – находить каждый позвонок отдельно и определять его скелет из четырёх точек.

Мы решили использовать две модели: и RTMPose, и YOLO, и добавили постобработку: эвристики, проверяющие анатомическое правдоподобие последовательности позвонков и корректирующие грубые промахи. Читерство? Возможно. Но наша задача – дать врачу адекватную разметку, а не похвастаться «чистой» нейронкой.

Рисунок 2. Слева – исходное изображение (попробуйте найти позвонок Th3). Справа – с нанесённой моделью разметкой. Видно, как ложное определение позвонка Th4 ломает весь «столб» (нижний S1 и розовые Th11 и L5 – верные обозначения)

Что получилось на практике

Сегодня VerteScan работает так:

1. Пользователь загружает изображение или DICOM‑файл.

2. Система за секунды выдаёт позвонки, ключевые точки и автоматически рассчитанные параметры сагиттального баланса.

3. Врач может руками поправить любую точку в графическом редакторе, и цифры пересчитаются.

4. Все снимки сохраняются в облаке, доступен поиск, каталогизация, просмотр – хоть с планшета на обходе.

Для медицинских организаций это означает сокращение времени подготовки заключения, снижение нагрузки на рентгенологов, стандартизацию измерений и увеличение пропускной способности. А для хирургов – возможность быстро, объективно и без «игры с контрастом» получить данные для планирования операции.

Приведу несколько отзывов, которые нас греют (орфография авторская):

«Я в восторге от этой программы! Могу с уверенностью сказать, что это – настоящий прорыв в предоперационной подготовке. Автоматизированный расчет делает точную разметку каждого сегмента и точно указывает параметры баланса… В отличие от аналогов, не приходится всё делать в ручную, затрачивая самый ценный ресурс – время, или «играть» контрастом, чтобы найти нужные точки, особенно для Th1 позвонка». (А.С. Елисеев, АО «Ильинская больница», Москва)

«Программа для оценки рентгенограмм позвоночника с использованием искусственного интеллекта является в современных условиях необходимым инструментом… Очень приятно, что такая программа разрабатывается в нашей стране. Даже на этапе alpha‑версии программа позволяет оценить основные параметры сагиттального баланса за несколько секунд». (А.Я. Алейник, к.м.н. Университетская клиника ФГБОУ ВО ПИМУ Минздрава России)

«Крайне важно, что наконец создается отечественный инструмент для планирования операций на позвоночнике! Теперь вне зависимости от политической ситуации он будет доступен. Интерфейс очень понятный и легкий в использовании, а искусственный интеллект существенно экономит время врача и выдвигает сервис на новый уровень». (А.Е. Боков, д.м.н. зав. нейрохирургическим отделением ФГБОУ ВО ПИМУ Минздрава России)

Импортозамещение здесь не хайповый лозунг, а необходимость в текущей реальности. Мы видим, как врачам становится спокойнее, когда понимают, что сервис находится в российском облаке, разработан в России и не исчезнет после очередного пакета санкций.

Что дальше

В планах – добавить оценку фронтальных параметров, модуль хирургического планирования и более тесную интеграцию с МИС. И, конечно, продолжим наращивать датасет и улучшать модель, чтобы грудные позвонки не огорчали.

Если ваша клиника или диагностический центр хочет попробовать VerteScan в деле – пишите, дадим доступ к бета‑версии.

Пощупать модель: https://qubu.ai/models/verte-scan

Потестировать сервис: http://vertescan.ru

Разметка позвонков: YOLO лучше игры контрастом

Похожие статьи

Поделиться в соц. сетях

Комментарии