Библиографическое описание:
Bosch J., Holmström Olsson H., Crnkovic I. Engineering AI Systems: A Research Agenda // arXiv preprint. 2020. arXiv:2001.07522v2. 8 p.

Введение: от прототипов к промышленному внедрению

За последнее десятилетие искусственный интеллект и особенно технологии машинного и глубокого обучения (machine learning и deep learning) доказали свой огромный потенциал для промышленности и общества в целом. В эпоху больших данных объем доступной информации достиг беспрецедентного уровня, что позволяет обучать все более сложные модели. Параллельно с этим прогресс в области высокопроизводительного параллельного аппаратного обеспечения, такого как графические процессоры (GPU) и программируемые логические интегральные схемы (FPGA), сделал возможным обучение решений масштабов, которые еще десятилетие назад казались недостижимыми. Эти два concurrent technology developments, как отмечают авторы, находятся в самом сердце стремительного распространения решений на основе машинного и глубокого обучения.

Сегодня практически каждая компания реализует инициативы в области искусственного интеллекта, а количество экспериментов и прототипов в промышленности феноменально. Хотя изначально это было прерогативой крупных компаний, предоставляющих программное обеспечение как услугу (SaaS), проведенные авторами исследования показывают демократизацию искусственного интеллекта и его широкое внедрение во всей промышленности — от стартапов до крупных компаний, разрабатывающих киберфизические системы. Решения на основе машинного обучения внедряются в телекоммуникациях, здравоохранении, автомобильной промышленности, интернете вещей (IoT) и многих других отраслях, и авторы ожидают экспоненциального роста числа таких внедрений во всем обществе.

Однако, как убедительно показывают результаты исследований авторов, переход от прототипа к промышленному развертыванию моделей машинного обучения, обеспечивающему качество, необходимое для эксплуатации, оказывается чрезвычайно сложным для многих компаний. Инженерные проблемы, связанные с машинным обучением, оказываются значительными, даже если многие исследователи и компании не до конца осознают этот факт. В своей статье авторы ставят цель предоставить концептуализацию типичных моделей эволюции, которые компании проходят при внедрении искусственного интеллекта, дать обзор инженерных проблем, связанных с решениями на основе машинного обучения, и предложить исследовательскую программу, которая должна быть реализована научным сообществом.

Методология исследования: изучение промышленного опыта

Исследование, лежащее в основе данной статьи, проводилось в рамках Software Center — консорциума, объединяющего более десятка крупных международных компаний, разрабатывающих киберфизические и встраиваемые системы. Среди этих компаний — Ericsson, Tetra Pak, Siemens, Bosch, Volvo Cars, Boeing и другие. Кроме того, авторы имели возможность изучать и сотрудничать с компаниями за пределами Software Center, работающими в различных бизнес-доменах как SaaS-компании.

Для целей данной публикации авторы отобрали 16 основных кейсов, которые стали фундаментом для выявления проблем и формулирования исследовательской программы. Однако следует отметить, что работа основана также на опыте более чем 20 компаний по всему миру, хотя с фокусом на европейскую (преимущественно скандинавскую) индустрию программно-интенсивных встраиваемых систем.

→

Рисунок 1 «Роли и кейсы, отобранные в качестве основы для исследования», на котором представлены: методология исследования (многокейсовое исследование, полуструктурированные интервью, наблюдения), роли респондентов (data scientist, data analyst, AI research engineer, UX lead, ML engineer, technical leader) и отраслевая принадлежность кейсов (real estate, weather forecasting, fraud detection, sentiment analysis, failure prediction и др.).

Для сбора данных использовались полуструктурированные интервью с дата-сайентистами, аналитиками данных, исследовательскими инженерами по искусственному интеллекту, техническими лидерами и другими специалистами. Для анализа и кодирования эмпирических данных авторы применили подход тематического анализа данных. Все кейсы были задокументированы, а исследователи тщательно проанализировали полученные результаты.

Модель эволюции внедрения искусственного интеллекта

В процессе трансформации в направлении разработки, управляемой искусственным интеллектом, компании с течением времени развивают все больше навыков, компетенций и потребностей в области машинного и глубокого обучения. На основе проведенных исследований авторы предлагают модель эволюции искусственного интеллекта, которая иллюстрирует, как компании развиваются во времени, проходя через пять последовательных стадий зрелости.

→

Рисунок 2 «Модель эволюции внедрения искусственного интеллекта», который графически представляет пять стадий развития компаний в области ИИ: Experimentation and prototyping, Non-critical deployment, Critical deployment, Cascading deployment, Autonomous ML/DL components. На рисунке показано, как с каждой стадией возрастает уровень критичности и сложности инженерных задач.

Первая стадия — экспериментирование и прототипирование. На этом этапе деятельность носит чисто исследовательский характер, а результаты не развертываются в производственной среде. Следовательно, инженерные проблемы искусственного интеллекта на этой стадии не проявляются.

Вторая стадия — некритическое развертывание. На этом этапе модель машинного или глубокого обучения развертывается как часть продукта или системы в некритическом качестве. Это означает, что если модель не справляется со своей задачей, общий продукт или система все равно остаются функциональными и приносят ценность клиентам.

Третья стадия — критическое развертывание. По мере роста доверия к моделям машинного и глубокого обучения ключевые лица, принимающие решения, начинают чувствовать себя достаточно комфортно для развертывания этих моделей в критическом контексте. Это означает, что если модель машинного обучения не работает корректно, продукт или система перестают функционировать.

Четвертая стадия — каскадное развертывание. С увеличением использования моделей машинного и глубокого обучения следующим шагом становится использование выходных данных одной модели в качестве входных данных для следующей модели в цепочке. В этом случае мониторинг и обеспечение корректного функционирования системы становятся более сложными, поскольку проблемы могут возникать эмерджентно, а не быть напрямую связанными с конкретной моделью.

Пятая стадия — автономные компоненты машинного и глубокого обучения. На финальной стадии модели машинного и глубокого обучения самостоятельно отслеживают свое поведение, автоматически инициируют переобучение и способны сигнализировать, когда модель, несмотря на переобучение с использованием последних данных, не обеспечивает приемлемую точность.

Каждый следующий шаг требует расширения деятельности в области инженерии искусственного интеллекта — набора методов и инструментов, возникших в программной инженерии (в рамках жизненного цикла системы), а также процедур, технологий и инструментов из науки о данных и искусственного интеллекта. В то время как первый шаг, который сегодня является стандартной практикой, охватывает сквозной цикл разработки машинного обучения (сбор данных, инженерию признаков, обучение, оценку и развертывание), последующие шаги требуют как существующих подходов из программной инженерии (например, системного тестирования), так и совершенно новых методов, которые должны стать неотъемлемой частью инженерии программного обеспечения и искусственного интеллекта (например, непрерывного обучения или управления версиями кода и данных).

Проблемы инженерии искусственного интеллекта: стратегические фокусы

В ходе исследования авторы выявили более 30 проблем, которые возникают в компаниях при внедрении систем на основе машинного и глубокого обучения. Эти проблемы сгруппированы в четыре стратегических фокуса, соответствующих типичным фазам проекта машинного обучения.

→

Рисунок 3 «Обзор кейсов и выявленных проблем», который представляет систематизацию выявленных проблем по четырем стратегическим направлениям: Data quality management, Design methods and processes, Model performance, Deployment & compliance. На рисунке показано, какие проблемы возникают на каждой фазе и как они соотносятся с конкретными кейсами из исследования.

Первая область — управление качеством данных. Одной из ключевых проблем успешных проектов в области искусственного интеллекта является создание наборов и потоков данных, обладающих достаточным качеством для обучения и логического вывода (инференса). Конкретные проблемы, с которыми сталкиваются компании, включают: несбалансированность наборов данных, высокую степень неоднородности, отсутствие разметки, дрейф данных во времени, наличие неявных зависимостей, а также необходимость значительных усилий по предварительной обработке, прежде чем данные становятся пригодными для использования.

Вторая область — методы и процессы проектирования. Хотя создание модели машинного обучения относительно просто, выполнение этого в масштабе и в воспроизводимой форме оказывается сложной задачей. Среди выявленных проблем: управление множеством экспериментов, обнаружение и разрешение неявных зависимостей и петель обратной связи, невозможность отслеживания зависимостей данных, оценка трудоемкости, культурные различия между ролями разработчиков, спецификация желаемого результата и вопросы инструментальной поддержки.

Третья область — производительность моделей. Производительность моделей машинного и глубокого обучения зависит от различных факторов, как связанных с точностью, так и с общими атрибутами качества. Специфические проблемы включают: расхождение между обучающими данными и данными, используемыми во время работы системы, недостаточную поддержку атрибутов качества, переобучение моделей и проблемы масштабируемости конвейеров данных для обучения и логического вывода.

Четвертая область — развертывание и соответствие требованиям. Эта область, как отмечают авторы, сильно недооценивается. Компании сталкиваются с множеством проблем, включая мониторинг и логирование моделей, тестирование моделей, поиск и устранение неисправностей, ограниченность ресурсов и значительные объемы «связующего кода» (glue code), необходимого для запуска системы.

Исследовательская программа по инженерии искусственного интеллекта

Основной вклад статьи заключается в предложении структурированной исследовательской программы, которая призвана вдохновить исследовательское сообщество в области программной инженерии на начало работы над проблемами инженерии искусственного интеллекта. Авторы организуют исследовательские вызовы в две основные категории: общая инженерия искусственного интеллекта и доменно-специфичная инженерия искусственного интеллекта.

В рамках общей инженерии искусственного интеллекта выделяются три основных направления: архитектура, разработка и процесс. В качестве второго измерения авторы используют стратегические фокусы, связанные с четырьмя основными фазами типичного проекта машинного обучения: управление качеством данных (сбор наборов данных), методы и процессы проектирования (создание и развитие моделей), производительность моделей (обучение и оценка) и развертывание и соответствие требованиям (фаза развертывания).

→

Рисунок 4 «Исследовательская программа по инженерии искусственного интеллекта», который представляет двухмерную структуру исследовательских вызовов. По вертикали расположены направления: Architecture, Development, Process (в рамках общей инженерии ИИ) и Domain-specific AI Eng (CPS, Safety-critical systems, Autonomously improving systems). По горизонтали — фазы ML-проекта: Assemble data sets, Create & evolve ML/DL model, Train & evaluate, Deploy. На пересечениях указаны конкретные исследовательские вопросы.

Архитектура систем искусственного интеллекта

В контексте инженерии искусственного интеллекта архитектура занимается структурированием общей системы и ее декомпозицией на основные компоненты. Построение систем, включающих компоненты машинного и глубокого обучения, требует компонентов и решений, не встречающихся в традиционных системах, и должно учитывать новые аспекты.

Управление версиями данных и зависимостями. Качество данных, используемых для обучения, абсолютно критично для достижения высокой производительности моделей. Особенно в среде DevOps данные, генерируемые одной версией программного обеспечения, не обязательно совместимы с данными, генерируемыми последующей версией. Следовательно, управление версиями данных требует тщательного подхода. Кроме того, системы обычно генерируют несколько потоков данных, имеющих зависимости друг от друга. Поскольку конвейеры данных, как правило, менее надежны, чем конвейеры программного обеспечения, важно предоставлять решения для управления качеством данных. Это может включать простые проверки нахождения данных в диапазоне или даже их наличия, а также более продвинутые проверки для обеспечения постоянства средних значений или статистических распределений данных во времени.

Инфраструктура федеративного обучения. В большинстве изученных кейсов модели машинного обучения развертываются в каждом экземпляре системы. Существует несколько подходов к управлению обучением, оценкой и развертыванием в таких контекстах, но одним из центральных компонентов инфраструктуры является поддержка федеративного обучения. Поскольку часто невозможно переместить все данные в центральное местоположение для обучения глобальной модели, необходимы решения для федеративного обучения и обмена параметрами моделей (такими как веса нейронных сетей), а также выбранными наборами данных, представляющими, например, случаи, которые плохо обрабатываются центральной моделью.

Инфраструктура хранения и вычислений. Хотя многие предполагают, что все развертывания машинного и глубокого обучения работают в облаке, взаимодействие авторов с промышленностью показывает, что многие компании создают собственную внутреннюю инфраструктуру хранения и вычислений из-за юридических ограничений, затрат или требований к качеству. Разработка такой инфраструктуры, например для создания решений автономного вождения, представляет собой серьезную инженерную и исследовательскую задачу.

Инфраструктура развертывания. Независимо от использования централизованных или федеративных подходов к обучению, модели все равно необходимо развертывать в системах в полевых условиях. Поскольку большинство компаний из исследовательской выборки внедрили или планируют в ближайшее время внедрить DevOps, важно, чтобы инфраструктура развертывания обеспечивала надежное развертывание последующих версий моделей, измерение их производительности, формирование предупреждений и инициацию отката в случае аномального поведения.

Разработка систем искусственного интеллекта

Создание и успешное развертывание компонентов и систем на основе машинного и глубокого обучения требует большего, чем просто наука о данных. Модели машинного и глубокого обучения, как показывают исследования, в большинстве случаев подчиняются тем же DevOps-активностям, что и другое программное обеспечение в системах, что означает, что модели развиваются, переобучаются и развертываются на непрерывной основе.

DataOps. Хотя некоторые считают этот термин модным словечком, DataOps поднимает вопрос об управлении всеми данными с тем же структурированным и систематическим подходом, который используется для управления программным обеспечением в традиционном DevOps-контексте. Поскольку типичные компании требуют от своих дата-сайентистов тратить более 95 процентов времени на очистку, предварительную обработку и управление данными, существует значительная возможность для сокращения этих накладных расходов за счет более интеллектуальной генерации, распределения и хранения данных в процессе разработки.

Повторное использование предварительно разработанных моделей. Большинство компаний предпочитают использовать модели, разработанные другими или созданные ранее внутри компании. Однако повторное использование существующих моделей машинного и глубокого обучения не является тривиальной задачей, поскольку разделение между общими и специфическими частями модели не всегда легко осуществить, особенно когда контекст выполнения отличается от контекста, использовавшегося на этапе обучения.

Атрибуты качества. В науке о данных ключевой задачей является достижение высокой точности, полноты или других метрик, напрямую связанных с производительностью модели машинного обучения. В контексте инженерии искусственного интеллекта, однако, актуальными становятся и другие атрибуты качества, включая вычислительную производительность (количество логических выводов в единицу времени, которое система может обработать), свойства реального времени, устойчивость системы в случае поступления данных, выходящих за пределы обучающей выборки, и другие.

Интеграция моделей и компонентов. Модели машинного и глубокого обучения необходимо интегрировать с остальной частью системы, содержащей обычные программные компоненты. Однако не всегда тривиально соединить управляемые данными модели машинного и глубокого обучения с вычислительно-управляемыми программными компонентами. Кроме того, традиционное тестирование и оценка моделей должны быть интегрированы таким образом, чтобы методы программной инженерии и методы оценки из науки о данных сочетались бесшовно.

Процессы в инженерии искусственного интеллекта

Хотя понятие процесса вышло из моды с появлением гибких методологий, трудно утверждать, что не требуется никакого процесса для согласования усилий больших групп людей без чрезмерно высоких координационных затрат. Контекст инженерии искусственного интеллекта не является исключением, но, как отмечают авторы, существует удивительно мало методов проектирования, процессов и подходов, доступных для разработки и развития моделей машинного и глубокого обучения.

Автоматизированная разметка. Поскольку наборы данных, с которых начинает компания, являются ограниченными источниками для обучения и валидации, идеально было бы собирать наборы данных для обучения развивающихся моделей во время эксплуатации. Хотя легко собирать входные данные, метки, используемые в обучении с учителем, часто добавлять гораздо сложнее. Следовательно, необходимы решения для, предпочтительно, автоматизированной разметки данных, чтобы обеспечить постоянный поток свежих данных для обучения и валидации в процессе эволюции.

Управление множеством моделей. Первая проблема, которая часто возникает в командах, работающих с моделями машинного и глубокого обучения, заключается в том, что трудно отслеживать все модели, рассматриваемые в процессе разработки.

A/B-тестирование моделей. В процессе эволюции улучшенная модель развертывается для эксплуатации. Однако опыт показывает, что модели, которые лучше работают при обучении, не обязательно лучше работают в эксплуатации. Следовательно, необходимы решения, часто варианты A/B-тестирования, чтобы убедиться, что новая модель действительно лучше работает при развертывании.

Мониторинг и логирование. После того как модель развернута и используется в эксплуатации, важно отслеживать ее производительность и регистрировать события, специфичные для производительности модели. Поскольку моделям машинного и глубокого обучения часто не хватает объяснимости, мониторинг и логирование требуются для формирования доверия к точности моделей и обнаружения ситуаций, когда производительность модели начинает ухудшаться или недостаточна с самого начала.

Доменно-специфичная инженерия: киберфизические системы

Хотя недавнее появление моделей машинного и глубокого обучения в промышленности началось в онлайн-мире SaaS, за этим быстро последовал растущий интерес со стороны индустрии программно-интенсивных встраиваемых систем. Главное отличие от облачных развертываний заключается в том, что модели развертываются во встраиваемых системах в полевых условиях — таких как базовые станции, автомобили, радары, датчики и тому подобное.

Киберфизические системы часто организованы вокруг трех вычислительных платформ: периферийное устройство (edge), где собираются данные для машинного обучения; локальный сервер (on-premise); и облачная инфраструктура. Каждая из этих платформ имеет свои характеристики с точки зрения производительности в реальном времени, безопасности и конфиденциальности, вычислительных ресурсов и ресурсов хранения, стоимости связи и т.д.

Следствием этого является то, что управление данными, обучение, валидация и логический вывод, связанные с моделями машинного и глубокого обучения, имеют тенденцию становиться федеративными, поскольку большинство возможностей, важных для клиентов, будут проходить через все три платформы.

Федеративное/распределенное хранение данных. Параллельно с моделью данные, используемые для обучения и логического вывода, необходимо управлять распределенным и федеративным образом. Локальное хранение на экземплярах устройств минимизирует затраты на связь, но имеет тенденцию увеличивать стоимость материалов для каждого устройства.

Федеративное/распределенное создание моделей. Из-за наличия нескольких вычислительных платформ архитектор или дата-сайентист должен распределить модель машинного и глубокого обучения по этим платформам, что приводит к федеративной модели.

Трансферное обучение (transfer learning). Особенно для компаний, у которых развернуты тысячи или миллионы устройств в полевых условиях, ключевой проблемой является балансировка между централизованным и децентрализованным обучением. Наиболее перспективным подходом является распространение централизованно обученных моделей и позволение каждому отдельному устройству применять свое локальное обучение к централизованно обученной модели с использованием подходов трансферного обучения.

Развертывание на гетерогенном оборудовании. Из-за требований к стоимости и вычислительной эффективности встраиваемые системы часто используют специализированные аппаратные решения, такие как ASIC и FPGA. Кроме того, модели машинного и глубокого обучения требуют огромных объемов параллельных вычислений, реализуемых, например, в GPU. Эти платформы выполнения используют различные среды разработки, языки программирования и парадигмы выполнения.

Доменно-специфичная инженерия: критически важные для безопасности системы

Особым классом киберфизических систем являются критически важные для безопасности системы — те, отказ или неправильное функционирование которых может привести к значительному физическому, экологическому или финансовому ущербу. Сообщество испытывает трудности с балансированием двух сил. С одной стороны, мы стремимся избежать вреда, применяя консервативные подходы и внедряя новые технологии только после тщательной оценки. С другой стороны, медленное внедрение новых технологий может само по себе причинить вред, поскольку новые технологии могут помочь избежать проблем безопасности, которые невозможно было предотвратить с помощью только традиционных технологий.

Трассировка данных (data trail). Одной из ключевых проблем в критически важных для безопасности системах является сбор доказательств, связанных с безопасностью, до развертывания систем и создание трассировки данных во время эксплуатации для обеспечения безопасной работы системы. В контексте моделей машинного и глубокого обучения это требует поддержания четкой трассировки данных, использованных для обучения, а также логических выводов, которые модель предоставляла во время эксплуатации.

Объяснимые модели (explainable models). Поскольку практически невозможно протестировать систему на безопасность, сообщество часто использует различные подходы для сертификации систем. Это выполняется оценщиками, которым необходимо понимать функциональность системы. Это требует, чтобы модели машинного и глубокого обучения были объяснимыми, что сегодня является неразрешимой или, по крайней мере, нетривиальной проблемой для большинства моделей.

Валидация критически важных для безопасности систем. Основным фактором, обеспечивающим развертывание моделей машинного и глубокого обучения в критически важных для безопасности системах, является валидация этих систем. Валидация касается как корректного поведения в ситуациях, когда приложение должно действовать, так и демонстрации того, что система не будет вмешиваться в ситуации, где это не необходимо или даже опасно.

Воспроизводимость (reproducibility). Из-за различных факторов модель машинного и глубокого обучения может выглядеть по-разному при использовании разных начальных значений, порядка обучающих данных, инфраструктуры, на которой она развернута, и т.д. Особенно для критически важных для безопасности систем критически важно, чтобы мы могли воспроизвести модель предсказуемым образом, независимо от вышеупомянутых факторов.

Доменно-специфичная инженерия: автономно улучшающиеся системы

Существует новая категория систем, которые используют модели машинного и глубокого обучения с намерением непрерывно улучшать производительность системы автономно. На практике в улучшении системы участвуют люди, но система использует механизмы для экспериментирования и улучшения, которые не требуют вмешательства человека.

Основной способ достижения этого системами — использование моделей машинного и глубокого обучения, которые анализируют данные, обучаются на них и затем предоставляют логический вывод. Это требует форм автоматизированного экспериментирования, где система сама генерирует альтернативы и, например, развертывает эти альтернативы в A/B-тестировании или аналогичных контекстах и измеряет влияние этих изменений.

Генерация данных для машинного обучения. Традиционная разработка моделей машинного и глубокого обучения требует, чтобы дата-сайентисты тратили значительное время на преобразование доступных наборов данных, часто предназначенных для человеческого восприятия, в наборы данных, пригодные для машинного обучения. В автономно улучшающихся системах данные, генерируемые системой, должны быть интерпретируемы машиной без какой-либо помощи человека.

Автоматизированное экспериментирование. Хотя концепция автоматизированного экспериментирования концептуально проста для понимания, фактическая реализация систем, которые могут работать таким образом, в значительной степени является открытой исследовательской проблемой, где мало доступных работ.

Онлайн-оценка (online evaluation). Поскольку автономно улучшающиеся системы генерируют альтернативы для оценки во время выполнения, эти альтернативы необходимо развертывать и оценивать во время обычной работы системы. Это требует решений для динамической настройки поведения системы для выбора нового альтернативного варианта для оценки в небольшом проценте случаев, а также для отслеживания статистической достоверности результатов тестирования, связанных с каждой альтернативой.

Исследование против эксплуатации (exploration vs exploitation). В автономно улучшающихся системах система автономно экспериментирует с различными реакциями на среду, в которой она работает, с намерением улучшить свою производительность. Проблема в том, что некоторые или даже многие из этих экспериментов приведут к худшей производительности, чем текущая реакция по умолчанию. Это называется «сожалением» (regret) в теории оптимизации. Проблема в том, что невозможно найти лучшие способы выполнения задач, не пробуя эти новые способы, но особенно во встраиваемых системах существует предел того, насколько плохой может быть альтернатива.

Заключительные положения

Искусственный интеллект и особенно технологии машинного и глубокого обучения доказали свой огромный потенциал для промышленности и общества. Однако, как убедительно показывают авторы на основе обширного эмпирического материала, переход от прототипа к промышленному развертыванию моделей, обеспечивающему качество, необходимое для эксплуатации, оказывается чрезвычайно сложным для многих компаний. Инженерные проблемы, связанные с этим, значительны, даже если многие исследователи и компании не до конца осознают этот факт.

В своей статье авторы предлагают концептуализацию типичных моделей эволюции, которые компании проходят при внедрении машинного обучения, представляют обзор проблем, с которыми сталкиваются компании (на основе более чем дюжины изученных кейсов), и предлагают исследовательскую программу, которая должна быть реализована научным сообществом. Цель этой программы — вдохновить исследовательское сообщество в области программной инженерии на начало работы над проблемами инженерии искусственного интеллекта.

Искусственный интеллект и машинное обучение имеют потенциал принести огромную пользу промышленности и обществу в целом. Однако для того чтобы реализовать эту ценность, необходимо уметь создавать инженерные решения, обеспечивающие промышленное качество развертывания. Это требует исследований для решения проблем инженерии искусственного интеллекта, представленных в данной статье.

В будущей работе авторы планируют продолжить исследование этих проблем в сотрудничестве с промышленностью. Особенно важным является сотрудничество с промышленностью в реальных промышленных условиях, поскольку методы машинного обучения опираются на эмпирические методы и напрямую зависят от количества и типов данных. Авторы регулярно организуют мероприятия в странах Северной Европы и на международных конференциях для повышения осведомленности о выявленных проблемах и для привлечения других исследователей к их решению.

Обзор подготовлен на основе статьи: Bosch J., Holmström Olsson H., Crnkovic I. Engineering AI Systems: A Research Agenda // arXiv preprint. 2020. arXiv:2001.07522v2. 8 p.*

Инженерия систем искусственного интеллекта: исследовательская программа

Похожие статьи

Поделиться в соц. сетях

Комментарии