Как Wayflyer создаёт ML model cards для обмена знаниями между командами

ML model cards позволяют командам обмениваться знаниями о моделях, их ограничениях и потенциальном использовании, что ускоряет разработку и повышает качество ML-решений.

Что происходит

Wayflyer, платформа финансирования для e-commerce, активно использует машинное обучение в различных направлениях: от генерации лидов и прогнозирования финансовых показателей до выявления мошенничества и категоризации банковских транзакций. У них более 20 специалистов по данным и десятки ML-моделей в production. Разработка ведется в product-oriented командах, что создает сложности с обменом информацией о моделях между ними.

Что это значит на практике

Разрозненность команд и отсутствие единого источника информации о ML-моделях приводили к дублированию работы, сложностям в повторном использовании моделей и недостаточной прозрачности. Например, модель, разработанная одной командой для выявления мошенничества, могла быть полезна и другим командам, но они могли не знать о её существовании или особенностях. Без должной документации трудно понять, как модель работает, каковы её ограничения и в каких случаях её можно использовать. Это замедляло разработку и повышало риск ошибок.

Что делать

Wayflyer внедрила ML model cards – документы, содержащие ключевую информацию о модели, её назначении, метриках производительности и ограничениях. Model card служит единым источником правды о модели для технических и нетехнических пользователей.

Процесс внедрения:

Выбор инструментов: Изначально рассматривался Google Model Card Toolkit, но от него отказались из-за сложной интеграции с Tensorflow и Python старых версий.
Разработка собственной системы: Была создана система на основе Pydantic для генерации JSON, Jinja для форматирования HTML и Plotly для интерактивных графиков. Позже интегрировали Evidently для визуализации данных.
Итеративный подход: Начали с простой системы, постепенно добавляя новые компоненты по мере необходимости.

Компоненты Model Card в Wayflyer:

Описание модели: Что делает модель, её назначение и ограничения.
Детали реализации: Информация о данных, признаках, архитектуре модели и процессе обучения.
Метрики производительности: Значения метрик на различных наборах данных, позволяющие оценить качество модели.
Анализ Data Quality и Drift: Оценка качества данных и обнаружение изменений в распределении данных для мониторинга стабильности модели со временем. Wayflyer использует Evidently для визуализации этих аспектов.
Предполагаемое использование и ограничения: Описание сценариев, в которых модель следует или не следует использовать.

Внедрение model cards позволило Wayflyer улучшить обмен знаниями между командами, ускорить разработку новых ML-решений и повысить их качество. Model cards стали важным инструментом для поддержания прозрачности и контроля над ML-моделями в компании. Этот опыт показывает, что model cards — полезный инструмент для компаний любого размера, использующих машинное обучение, и их стоит внедрять на ранних этапах развития MLOps.

Для компаний из СНГ этот опыт особенно ценен, так как он демонстрирует, как с помощью open-source инструментов можно построить эффективную систему управления информацией о моделях, не прибегая к дорогостоящим проприетарным решениям.

Источник: https://evidentlyai.com/blog/how-wayflyer-creates-ml-model-cards

Как Wayflyer создаёт ML model cards для обмена знаниями между командами

Похожие статьи

Поделиться в соц. сетях

Комментарии