Когда вы скачиваете датасет с ChestX-ray14 или CheXpert, вы работаете с «тепличными» данными. Они уже кем-то почищены, унифицированы и разложены по папкам. Но когда вы работаете штатным Data Scientist'ом в сети диагностических центров, данные выглядят иначе. Они выглядят как хаос.

Наша задача звучала обманчиво просто: обучить модель для пре-скрининга патологий грудной клетки (пневмония, новообразования, плеврит), чтобы подсвечивать рентгенологам подозрительные зоны.

Мы потратили 4 месяца не на подбор архитектуры нейросети, а на то, чтобы превратить 15 терабайт сырых DICOM-файлов в валидный датасет. В этом исследовании я расскажу, как мы боролись с «грязными» метками, почему мнение одного врача — это шум, и как мы чуть не обучили сеть распознавать не болезнь, а логотип больницы.

Этап 1: Анонимизация или «проклятие выжженных пикселей»

Первое правило работы с медданными: они не должны покидать защищенный контур, пока не станут обезличенными.

DICOM-файл — это не просто картинка. Это контейнер, набитый метаданными: ФИО пациента, дата рождения, ID врача, модель аппарата.

Мы написали скрипт на Python (используя pydicom), который вычищал все теги, кроме технических (Pixel Spacing, Modality). Но тут мы столкнулись с проблемой «хардкода».

На старых рентген-аппаратах лаборанты часто вбивали данные пациента прямо поверх снимка. Это «выжженные» пиксели.

Решение:

Мы обучили легковесную OCR-модель (Tesseract справился плохо, пришлось дообучать YOLO для детекции текста), которая находила текстовые блоки на снимке и накладывала на них черные маски.

Результат: Из 51 200 снимков мы отбраковали 1 400, где текст перекрывал легочные поля. Потеря данных, но безопасность дороже.

Этап 2: Проблема Ground Truth. Врачи врут (не специально)

Это самая болезненная часть. В классическом ML кошка — это кошка. В радиологии «затемнение в нижней доле» для одного врача — это пневмония, для другого — артефакт съемки, а для третьего — следствие старой травмы.

Мы провели эксперимент. Взяли 100 случайных снимков и раздали их трем разным рентгенологам высшей категории.

Совпадение диагнозов (Inter-rater reliability) составило всего 76%.

Если бы мы обучали модель на разметке одного врача, мы бы обучили её предвзятости конкретного человека.

Наша методология «Консилиума»:

Для разметки «Золотого стандарта» (Golden Set) мы внедрили перекрестную систему:

Каждый снимок смотрят независимо 2 врача.
Если их вердикты совпадают — снимок идет в train.
Если есть разногласия — снимок отправляется третьему, «старшему» эксперту (арбитру).

Это замедлило процесс в три раза и удорожило разметку до 450 рублей за снимок. Но именно это спасло нас от провала.

Этап 3: Борьба с артефактами и «Clever Hans»

В машинном обучении есть термин «Clever Hans» (Умный Ганс) — это когда модель находит ложную закономерность, которая работает на тренировке, но ломается в реальности.

Во время разведочного анализа данных (EDA) мы заметили странную корреляцию: модель показывала 99% точности на снимках из Отделения №3 и проваливалась на снимках из Отделения №5.

Оказалось, что в Отделении №3 стоит старый аппарат, который оставляет специфическую зернистость и метку «L» (Left) в углу определенным шрифтом. А поскольку в это отделение направляли самых тяжелых пациентов из стационара, сеть научилась определять: «Зернистость + Метка L = Патология». Она не смотрела на легкие. Она смотрела на артефакты сканера.

Как мы это лечили:

Кроп и ресайз: Мы начали агрессивно обрезать края снимков, удаляя технические метки.
Нормализация гистограммы: Применили CLAHE (Contrast Limited Adaptive Histogram Equalization), чтобы привести контрастность снимков с разных аппаратов к единому виду.
Аугментация: Добавили гауссовский шум, чтобы сбить модель с толку относительно зернистости сенсора.

Этап 4: Результаты эксперимента

Мы обучили архитектуру EfficientNet-B4 на двух версиях датасета:

Датасет А (Сырой): Разметка взята из МИС (медицинской информационной системы) «как есть» от лечащего врача.
Датасет Б (Чистый): Прошел процедуру «Консилиума» и препроцессинг.

Метрика	Датасет А (Сырой)	Датасет Б (Чистый)	Комментарий
Accuracy	89.4%	93.1%	Рост кажущийся небольшим, но критичный.
Sensitivity (Recall)	78.2%	91.5%	Главная победа. Мы перестали пропускать больных.
Specificity	92.0%	94.2%	Меньше здоровых людей отправляем на дообследование.
ROC-AUC	0.88	0.96	Высокая разделительная способность.

Рост чувствительности (Recall) на 13% — это сотни пациентов, у которых патологию заметят на ранней стадии. На «грязном» датасете модель часто путала пневмонию с плохим качеством снимка (размытием при движении).

Итоги и выводы

Сбор собственного медицинского датасета — это не IT-задача. Это процесс, где 80% времени уходит на бюрократию, протоколы разметки и борьбу с энтропией данных.

Не верьте меткам из больничных систем. Врач ставит диагноз в карту для страховой, а не для нейросети. Там может быть написано «Пневмония под вопросом», а в датасет это попадет как «1».
Один разметчик — это ноль разметчиков. Только кросс-валидация врачей дает чистый сигнал.
Смотрите на снимки глазами. Если вы не можете найти патологию на ресайзе 256х256, модель, скорее всего, найдет там артефакты сжатия, а не болезнь.

Часть нашего обезличенного и верифицированного датасета (сегмент «Норма» и «Пневмония», 5000 снимков) мы выложили в открытый доступ в разделе «Датасеты» на платформе Qubu. Это наш вклад в то, чтобы другие команды не тратили месяцы на базовую чистку.

Диагноз по пикселям: Как мы собрали и верифицировали датасет из 50 000 рентгеновских снимков

Похожие статьи

Поделиться в соц. сетях

Комментарии