induction soldering control system

Традиционный контроль процесса индукционной пайкой включает в себя использование пирометрических датчиков, но пары, которые появляются при нагревании и плавлении флюса могут исказить значения
показателей пирометров, что может привести к появленю брака на производстве.

Предлагаемая система компьютерного зрения, в реальном времени, посредством анализа видеопотока, определяет этапы технологического процесса индукционной пайки без необходимости использовать данные пирометров. А также способна обнаруживать дефекты паянного соединения для контроля возникновения ошибки оператора при установки детали.

Содержание модели

Модель обучалась на изображениях дефектов паянного соединения и этапов технологического процесса пайки. В процессе обучения были достигнуты следующие метрики:

модель детекции, на базе Yolov9t - mAP50 = , mAP50-95 = , F1 = , Precision = , Recall =

модель сегментации на базе Yolo11s-seg -

для обнаружения сегмента - mAP50(B) = 0,93, mAP50-95(B) = 0,83, F1(B) = 0,88, Precision(B) = 0,927, Recall(B) = 0,85,

для отрисовки маски - mAP50(М) = 0,933, mAP50-95(М) = 0,751, F1(М) = 0,89, Precision(М) = 0,936, Recall(М) = 0,86.

Инференс работы модели сегментации и детекции достигает 39мс и 29мс, соответственно. Инференс был достигнут на компьютере с характеристиками:

Процессор 3,20 Ггц,

Оперативная память 16Гб,

Графический процессор NVIDIA GeForce GTX 1050 Ti (4 GB).

Что делает модель

На вход модели подается видео процесса пайки, это может быть как видеопоток с видеокамеры, так и загруженное видео процесса в программу. В результате работы программы появляется отображение этапа технологического процесса или, если имеется, дефекта паянного соединения.

Вход и выход

• Вход — прямой видеопоток с камеры или видеофайл в формате .mp4, изображение в форматах .png или .jpg.

• Выход — видео или иозображение с отображением маски и ограничивающей рамки сегмента, при появлении дефекта, также. появляется ограничивающая рамка дефекта.

Примеры работы

1. Загрузка видео в программу и обнаружение этапа технологического процесса.

   Добавляем путь к видеофайлу.

   

В настройках выбираем используемую модель, в нашем случае - сегментация. Пути к моделям установлены по умолчанию, при необходимости их можно заменить.

В результате получаем видео, с отображением этапа технологического процесса, в данном случае, это этап Предварительный нагрев.

1. Рассмотрим ситуацию, когда необходимо определить дефект паянного соединения. Выбираем в настройках "Детекция", и загружаем в папку путь к изображению с дефектом.

   В результате работы программы получаем изображение с указанным дефектом паянного соединения, например, перегрев, который указан на рисунке ниже.

1. Также существует возможность выбрать обе работы для модели, и детекцию и сегментацию. В таком случае обе модели будут работать совместно.

Обучающие данные

В качестве набора данных использовались фотографии паяных соединений волноводных трактов с одним из дефектов. Но поскольку индукционная пайка — ресурсоемкий процесс, было сделано всего 250 изображений.

В обучающем наборе данных для определения были выделены и вручную размечены три класса – перегрев, непропай и прожог. Класс "прожог" составил 69 изображений, "непропай" - 74, "перегрев" - 228. Перегрев возникает когда металл и припой доведены до избыточно высокой температуры без явного прожога. Прожог представляет собой локальное прожигание основного металла (сквозное отверстие или сильное утончение стенки). Непропай это частичное заполнение зазора припоем: видны пустоты, разрывы.

Для расширения датасета была применена аугментация данных в результате которой было получено 1679 изображений.

Технические требования

Аппаратные требования:

• Тип вычислительного устройства: GPU (с поддержкой CUDA) рекомендуется для обработки в реальном времени. CPU поддерживается как fallback, но FPS будет существенно ниже.

• Минимальный объём видеопамяти (VRAM): 2 ГБ , рекомендуется 4–6 ГБ для стабильной работы двух моделей одновременно без пропусков кадров.

• Оперативная память (RAM): минимум 4 ГБ, рекомендуется 8 ГБ и более для корректной работы Python, PyTorch, OpenCV, Flet и буферизации видеопотока.

Программное окружение:

• Операционные системы: Windows 10/11 , Linux и macOS совместимы при корректной настройке драйверов видеозахвата.

• Версия Python: 3.9 – 3.11.

• Перечень зависимостей: torch, torchvision, ultralytics, opencv-python, flet, numpy, стандартные модули Python (threading, base64, os, time).Требуется наличие предобученных весов в формате .pt.

Требования к входным данным:

• Форматы файлов: Видеопоток с веб-камеры или локальные видеофайлы/изображения, поддерживаемые OpenCV.

• Допустимое разрешение или размер файла: Входное разрешение камеры/видео — от 640×480 и выше. Ограничений на размер файла нет, но для плавной обработки в реальном времени рекомендуется использовать локальные файлы до 2–4 ГБ или потоковую передачу без перекодирования.

• Цветовое пространство: 3-канальное цветное видео. Поддержка градаций серого (grayscale) или 1-канальных изображений не предусмотрена.