Другие Проекты
Назначением системы является контроль собранных оператором узлов турбокомпрессора, регистрация типовых ошибок сборки турбокомпрессора, заданных в исходных условиях задачи контроля.
Исходной задачей конкурса по разработке технологии контроля ручных операций являлось создание системы, позволяющей диагностировать в режиме реального времени правильность сборки узлов турбокомпрессора и распознать типовые ошибки сборки по предоставленному технологическому процессу сборки.
В процессе конкурса, нами были разработан классификатор объектов, позволяющий с высокой точностью классифицировать элементы турбокомпрессора по CAD моделям на изображении и определять координаты элементов на изображении.
Для решения данной задачи существует несколько основных методов решения:
Для участия в конкурсе был использован первый вариант, т.к. реализация контроля положения объектов позволяла наиболее точно решить задачу локализации положения объектов на первых этапах конкурса. В дальнейшем, созданный для контроля положения объектов классификатор был применен для контроля наличия узлов турбокомпрессора в сборе.
Конкурс состоял из трех этапов:
Нашей компанией было разработано и продемонстрировано в финале приложение, которое позволяет выполнить полный цикл автоматического контроля сборочных операций с минимальным участием оператора. В основе приложения был использован разработанный классификатор, который использовался для прохождения первого и второго этапа конкурса.
Разработанный классификатор был построен на базе сверточной нейронной сети глубокого обучения. Для его обучения использовались как реальные изображения деталей турбокомпрессора, так и виртуальные изображения, полученные путем рендеринга CAD моделей. Для всех изображений выполнялись операции искажения исходных данных – вращение, поворот, перспективная трансформация, шум, что позволило получить устойчивое распознавание класса и позиции объекта независимо от ракурсов съемки и окружения объектов.
В базовой версии классификатора для распознавания используются 15 классов исходных объектов, технические возможности классификатора позволяют производить одновременную классификацию и распознавание нескольких тысяч классов.
a. Microsoft HoloLens
b. Epson Moverio
Применение разработанного решения возможно в таких областях технического машинного зрения как:
1. Микроскопия – подсчет и сегментация объектов, имеющих сложную для параметризации форму или цвет.
2. Электроника – локализация позиции элементов на плате или раскладке. Одним из вариантов применения может являться система переноса электронных, выполняющая расчет позиции по видеоизображению, захват и перенос электронного компонента.
3. Системы промышленного контроля – выполняющие классификацию и локализацию распознаваемого объекта, например:
а. Контроль класса наклеенной этикетки на продукте.
б. Подсчет объектов определенного класса на изображении (например, расчет количества и позиции деталей, находящихся на изображении).
с. …
Первый этап – поиск необходимых для сборки элементов.
На данном шаге выполняется проверка наличия необходимых элементов в зоне контроля камеры.
Если какой-либо из элементов не был обнаружен – выводится сообщение об отсутствии этого элемента в зоне контроля.
Распознавание производится независимо от расположения элемента, например, корпус компрессора может быть распознан независимо от текущего поворота или перемещения относительно камеры.
Распознаваемые элементы:
1. Колесо компрессора
2. Экран турбины
3. Корпус подшипников
4. Корпус компрессора
5. Ротор
6. Турбина
Второй этап – сборка ротора и колеса компрессора
На данном этапе производится поиск узла, состоящего из колеса компрессора и ротора.
Бирюзовыми рамками с подписями подсвечиваются элементы, необходимые для сборки узла.
В центре экрана красной рамкой отображается область контроля, в которой проверяется наличие собранного узла. При распознавании узла, область содержащая узел, подсвечивается рамкой синего цвета и рамка контроля изменяет свой цвет на зеленый, что сообщает оператору о корректной сборке узла.
Узел состоит из колеса компрессора, установленного на ротор.
Третий этап – сборка узла №1
На данном этапе производится сборка узла №1, состоящего из экрана турбины, ротора и корпуса подшипников.
Задачей оператора на данном этапе является правильная сборка узла.
Бирюзовыми рамками с названиями элементов подсвечиваются элементы, необходимые для сборки узла.
В начале видеозаписи данного этапа демонстрируется неправильная сборка узла, приводящая к типовой ошибке – не установленному экрану турбины. При неправильной сборке система распознает ошибку и выводит сообщение о некорректной сборке.
После правильной сборки узла и корректной установки экрана турбины, производится распознавание узла. После успешного распознавания область, содержащая узел, подсвечивается рамкой синего цвета и рамка контроля изменяет свой цвет на зеленый, что сообщает оператору о корректной сборке узла.
Четвертый этап – сборка узла №2
На данном этапе производится демонстрация сборки узла №2, состоящего из подсобранного узла №1 и крышки компрессора.
В случае, если оператор не установил крышку компрессора на узел №1, переход на дальнейшие шаги сборки не производится.
После установки крышки на узел №1 и расположении собранного элемента в зоне контроля (под красной рамкой), система произведет распознавание элемента и позволит оператору произвести следующий шаг сборки. После распознавания элемента рамка контроля будет окрашена зеленым цветом и найденный элемент будет подсвечен синей рамкой.
Пятый этап – сборка узла №3
На данном этапе производится сборка узла №3, состоящего из колеса компрессора и подсобранного узла №2.
Задачей оператора на данном этапе является правильная установка колеса компрессора на ротор узла №2. В случае, если колесо компрессора не установлено или установлено неверно, выводится сообщение об ошибке.
После правильной установки компрессора и ориентации собранного узла вертикально, рамка контроля будет окрашена в зеленый цвет и распознанный элемент будет подсвечен синей рамкой.
Шестой этап – сборка узла №4
На данном этапе производится установка корпуса компрессора на собранный узел №3.
Бирюзовой рамкой с текстом подсвечивается крышка компрессора, т.к. она необходима для завершения сборки. После установки крышки компрессора на собранный узел №3 и расположения узла в зоне контроля, рамка контроля будет окрашена в зеленый цвет, означающий успешное распознавание собранного элемента. Синей рамкой будет обозначена область, содержащая собранный узел.
Седьмой этап – сборка турбокомпрессора
На финальном этапе сборки выполняется соединение узла №4 и турбины турбокомпрессора.
Турбина компрессора устанавливается на собранный узел №4. После расположения собранного турбокомпрессора в зоне контроля и распознавания собранного турбокомпрессора, рамка контроля будет окрашена зеленым цветом и будет выведено сообщение о успешном завершении сборки турбокомпрессора.