Система контроля сборки деталей

Введение
 
ООО “Альтами” приняло участие в конкурсе на лучшее решение в области создания интеллектуальной технологии контроля ручных операций по видеоизображению с рабочего места оператора сборочного производства, организованном Фондом перспективных исследований совместно с Фондом “Сколково” при техническом и методологическом содействии ПАО “Камаз”. Открытый конкурс проходил со 2 апреля по 23 августа 2018 года.
 
 

 
Перейти к подробному описанию этапов процесса сборки

 

Назначение системы контроля сборки

Назначением системы является контроль собранных оператором узлов турбокомпрессора, регистрация типовых ошибок сборки турбокомпрессора, заданных в исходных условиях задачи контроля.
 
Исходной задачей конкурса по разработке технологии контроля ручных операций являлось создание системы, позволяющей диагностировать в режиме реального времени правильность сборки узлов турбокомпрессора и распознать типовые ошибки сборки по предоставленному технологическому процессу сборки.
 
 

Классификатор объектов для системы контроля

В процессе конкурса, нами были разработан классификатор объектов, позволяющий с высокой точностью классифицировать элементы турбокомпрессора по CAD моделям на изображении и определять координаты элементов на изображении.
Для решения данной задачи существует несколько основных методов решения:
 

  • Контроль наличия определенного узла на изображении в зависимости от шага сборки
  • Контроль ручного действия с учетом временного контекста (распознавание контекста действия) – например контроль действия затягивания определенного крепежа турбокомпрессора.

 
Для участия в конкурсе был использован первый вариант, т.к. реализация контроля положения объектов позволяла наиболее точно решить задачу локализации положения объектов на первых этапах конкурса. В дальнейшем, созданный для контроля положения объектов классификатор был применен для контроля наличия узлов турбокомпрессора в сборе.
 
 

Этапы проведения конкурса

Конкурс состоял из трех этапов:
 

  • Обучение – на данном этапе была доступен набор видео для двух выборок, обучающей и тестовой. На видеозаписях были представлены элементы турбокомпрессора, находящиеся в различных ракурсах и в присутствии большого количества объектов, не являющихся целями контроля (например, ручной инструмент, элементы крепежа, и.т.д.).
    Задачей системы контроля на данном этапе являлось распознавание элементов на видео из тестовой выборки и получение координат минимального прямоугольника, наиболее точно описывающего элемент на видеозаписи. Сравнение полученных координат прямоугольника происходило с данными координат, которые установил эксперт, по метрике IoU (intersection over union).
  • Тестирование — на данном этапе задача была аналогична этапу обучения, с той разницей, что контрольная выборка видеозаписей элементов турбокомпрессора, по которой производилась общая валидация метрики качества распознавания была закрыта от участников. Проверка по закрытой выборке позволила подтвердить, что разработанная система позволяет определять с высокой точностью объекты в условиях съемки, которые ранее не применялись для настройки или обучения системы.
  • Финал. На данном этапе участниками демонстрировалось применение разработанной технологии контроля к исходной задаче конкурса – контролю технологической операции сборки.

 
 

Описание системы контроля сборки

Нашей компанией было разработано и продемонстрировано в финале приложение, которое позволяет выполнить полный цикл автоматического контроля сборочных операций с минимальным участием оператора. В основе приложения был использован разработанный классификатор, который использовался для прохождения первого и второго этапа конкурса.
 
Разработанный классификатор был построен на базе сверточной нейронной сети глубокого обучения. Для его обучения использовались как реальные изображения деталей турбокомпрессора, так и виртуальные изображения, полученные путем рендеринга CAD моделей. Для всех изображений выполнялись операции искажения исходных данных – вращение, поворот, перспективная трансформация, шум, что позволило получить устойчивое распознавание класса и позиции объекта независимо от ракурсов съемки и окружения объектов.
В базовой версии классификатора для распознавания используются 15 классов исходных объектов, технические возможности классификатора позволяют производить одновременную классификацию и распознавание нескольких тысяч классов.
 

Основные возможности разработанной системы контроля

  • Распознавание элементов турбокомпрессора независимо от условий съемки, ракурса, модели камеры.
  • Распознавание узлов турбокомпрессора в сборе и распознавание отдельных элементов в составе узлов.
  • Контроль наличия определенных элементов турбокомпрессора в составе подсобранных узлов.
  • Контроль правильности установки элементов в составе узлов.
  • Распознавание типовых ошибок сборки турбокомпрессора.
  • Возможность работы системы на видеоустройствах бытового класса.
  • Низкие требования к используемым вычислительным мощностям.
  • Возможность классификации объекта по заданным CAD моделям.
  • Возможность синхронизации с системами дополненной реальности и вывода инструкций сборки в такие системы как:

    •            a. Microsoft HoloLens
               b. Epson Moverio

 
 

Сфера применения разработанной системы контроля

Применение разработанного решения возможно в таких областях технического машинного зрения как:
1. Микроскопия – подсчет и сегментация объектов, имеющих сложную для параметризации форму или цвет.
 
2. Электроника – локализация позиции элементов на плате или раскладке. Одним из вариантов применения может являться система переноса электронных, выполняющая расчет позиции по видеоизображению, захват и перенос электронного компонента.
 
3. Системы промышленного контроля – выполняющие классификацию и локализацию распознаваемого объекта, например:
         а. Контроль класса наклеенной этикетки на продукте.
         б. Подсчет объектов определенного класса на изображении (например, расчет количества и позиции деталей, находящихся на изображении).
         с. …
 
 

Видео. Этапы процесса сборки турбокомпрессора

Первый этап – поиск необходимых для сборки элементов.
На данном шаге выполняется проверка наличия необходимых элементов в зоне контроля камеры.
 
Первый этап - поиск необходимых для сборки элементов
 
Если какой-либо из элементов не был обнаружен – выводится сообщение об отсутствии этого элемента в зоне контроля.
Распознавание производится независимо от расположения элемента, например, корпус компрессора может быть распознан независимо от текущего поворота или перемещения относительно камеры.
 
Распознаваемые элементы:
1. Колесо компрессора
2. Экран турбины
3. Корпус подшипников
4. Корпус компрессора
5. Ротор
6. Турбина
 
 
Второй этап – сборка ротора и колеса компрессора
На данном этапе производится поиск узла, состоящего из колеса компрессора и ротора.
 
Второй этап – сборка ротора и колеса компрессора
 
Бирюзовыми рамками с подписями подсвечиваются элементы, необходимые для сборки узла.
В центре экрана красной рамкой отображается область контроля, в которой проверяется наличие собранного узла. При распознавании узла, область содержащая узел, подсвечивается рамкой синего цвета и рамка контроля изменяет свой цвет на зеленый, что сообщает оператору о корректной сборке узла.
Узел состоит из колеса компрессора, установленного на ротор.
 
 
Третий этап – сборка узла №1
На данном этапе производится сборка узла №1, состоящего из экрана турбины, ротора и корпуса подшипников.
Задачей оператора на данном этапе является правильная сборка узла.
Бирюзовыми рамками с названиями элементов подсвечиваются элементы, необходимые для сборки узла.
В начале видеозаписи данного этапа демонстрируется неправильная сборка узла, приводящая к типовой ошибке – не установленному экрану турбины. При неправильной сборке система распознает ошибку и выводит сообщение о некорректной сборке.
 
Неправильная сборка узла №1
 
После правильной сборки узла и корректной установки экрана турбины, производится распознавание узла. После успешного распознавания область, содержащая узел, подсвечивается рамкой синего цвета и рамка контроля изменяет свой цвет на зеленый, что сообщает оператору о корректной сборке узла.
 
Правильная сборка узла №1
 
 
Четвертый этап – сборка узла №2
На данном этапе производится демонстрация сборки узла №2, состоящего из подсобранного узла №1 и крышки компрессора.
 
Четвертый этап – сборка узла №2
 
В случае, если оператор не установил крышку компрессора на узел №1, переход на дальнейшие шаги сборки не производится.
После установки крышки на узел №1 и расположении собранного элемента в зоне контроля (под красной рамкой), система произведет распознавание элемента и позволит оператору произвести следующий шаг сборки. После распознавания элемента рамка контроля будет окрашена зеленым цветом и найденный элемент будет подсвечен синей рамкой.
 
 
Пятый этап – сборка узла №3
На данном этапе производится сборка узла №3, состоящего из колеса компрессора и подсобранного узла №2.
Задачей оператора на данном этапе является правильная установка колеса компрессора на ротор узла №2. В случае, если колесо компрессора не установлено или установлено неверно, выводится сообщение об ошибке.
 
Пятый этап – сборка узла №3
 
После правильной установки компрессора и ориентации собранного узла вертикально, рамка контроля будет окрашена в зеленый цвет и распознанный элемент будет подсвечен синей рамкой.
 
Неправильная сборка узла №3
 
 
Шестой этап – сборка узла №4
На данном этапе производится установка корпуса компрессора на собранный узел №3.
 
Шестой этап – сборка узла №4
 
Бирюзовой рамкой с текстом подсвечивается крышка компрессора, т.к. она необходима для завершения сборки. После установки крышки компрессора на собранный узел №3 и расположения узла в зоне контроля, рамка контроля будет окрашена в зеленый цвет, означающий успешное распознавание собранного элемента. Синей рамкой будет обозначена область, содержащая собранный узел.
 
 
Седьмой этап – сборка турбокомпрессора
На финальном этапе сборки выполняется соединение узла №4 и турбины турбокомпрессора.
 
Седьмой этап – сборка турбокомпрессора
 
Турбина компрессора устанавливается на собранный узел №4. После расположения собранного турбокомпрессора в зоне контроля и распознавания собранного турбокомпрессора, рамка контроля будет окрашена зеленым цветом и будет выведено сообщение о успешном завершении сборки турбокомпрессора.
 
 

Обратитесь к специалистам компании Альтами!

Почта: mail@alelso.ru Телефон: +7 (812) 679-20-00









     

     

    * Поля обязательные для заполнения.
    ** Нажимая кнопку "ОТПРАВИТЬ", я соглашаюсь с условиями обработки персональных данных.