Шэньчжэнь V-Plus Technologies Co., Ltd.

Машинное зрение 2D или 3D Почему не оба

2D или 3D машинное зрение? Почему не оба?

Еще не так много лет назад системные проектировщики и интеграторы делали все возможное, чтобы избежать трехмерного машинного зрения. Для этого потребовались сложные системы освещения, много вычислительной мощности, больше инженерии и даже больше денег.

Сегодня, с увеличением вычислительной мощности и появлением новых, более быстрых датчиков CMOS-камер, поставщики оборудования для 3D-машинного зрения и программного обеспечения упростили настройку 3D-системы, добавив при этом еще больше возможностей для своих продуктов, таких как использование как 2D-, так и 3D-изображений для повышения производительности своих систем. более надежный. В результате приложения, которые никогда бы не приняли во внимание стоимость 3D, переходят на эту технологию с рекордной скоростью.

2D против 2.5D против 3D
Любое обсуждение 3D-изображений начинается с определения терминов. Стандартное 2D-изображение машинного зрения является плоским, откалиброванным для измерения длины и ширины, но не предоставляет никакой информации о высоте. Следующий шаг, 2.5D, включает информацию об оси Z или высоте в дополнение к осям X и Y; он также предоставляет информацию, которая позволяет системе машинного зрения оценивать вращение объектов (тангаж и рыскание) вокруг двух из трех измерений. True 3D предоставляет информацию по осям X, Y и Z, а также информацию о вращении вокруг всех трех осей (rX, rY и rZ). Для «святого Грааля» трехмерного видения - сбора мусора - и многих других новых приложений подойдет только трехмерное изображение.

«Трехмерное зрение и роботизированный сбор мусора очень тесно связаны друг с другом», - объясняет Джим Андерсон, менеджер по продукту Vision в SICK, Inc. (Миннеаполис, Миннесота). «Провидцы, такие как Адиль Шафи, работали над этим в течение 15 лет, но теперь сбор мусора действительно начинает приносить плоды».

Такие компании, как SICK, упрощают развертывание самых сложных приложений машинного зрения за счет использования вычислительных мощностей и более интеллектуального программного обеспечения. Например, SICK предлагает производственную систему подбора бункеров, известную как точное расположение деталей в бункерах (PLB), которая сочетает в себе систему машинного зрения на основе лазерной триангуляции со специализированным программным обеспечением, которое учитывает все посторонние соображения для успешного приложения бункера. .

Лучшее программное обеспечение для 3D
«Исторически все программное обеспечение 3D было основано на алгоритмах 2D, которые использовались в 3D», - говорит Николас Тебо, менеджер группы продуктов Vision Solutions в компании LEONI Engineering Products & Services (Лейк Орион, Мичиган). «Теперь компании предлагают подходящие 3D-инструменты, которые упрощают работу с приложением. И это не только вопрос 2D или 3D. Например, для сбора мусора у вас должны быть подходящие захваты. Программное обеспечение должно учитывать захват и следить за тем, чтобы он не сталкивался со стенками бункера, и не только определять ориентацию деталей, но и знать, где вы можете захватить его, а где нет, исходя из геометрии детали. К счастью, мы можем использовать ПЛИС и другие инструменты, чтобы ускорить весь процесс, но с точки зрения интегратора еще многое нужно учесть ».

4 (1)

Не каждое приложение для управления роботом требует полного 3D. По словам Эда Рони, национального менеджера по работе с клиентами и эксперта по машинному зрению в FANUC America Corp. (Рочестер-Хиллз, Мичиган), «во многих случаях все, что нужно знать роботу, - это расстояние до объекта с точки зрения робота. В таких случаях 2.5D может работать нормально. Но если деталь не расположена на плоской поверхности или масштаб детали неизвестен, то лучше всего использовать трехмерное облако точек. Но даже когда объект находится на плоской поверхности, например, коробки на поддоне, отсутствие контраста может стать причиной перехода в 3D. Робот, использующий 2D или 2.5D, может быть не в состоянии легко определить, где заканчивается один блок и начинается другой, потому что между двумя блоками недостаточно контраста ».

Структурированный свет - это один из способов, с помощью которого компании, подобные SICK и Tordivel AS (Осло, Норвегия), создают контраст в трехмерных изображениях. Компания Tordivel, наиболее известная своей библиотекой машинного зрения Scorpion Vision, недавно выпустила камеру Scorpion 3D Stinger. В отличие от большинства камер стереозрения, которые генерируют значение Z для каждого пикселя на основе небольших различий в изображениях, полученных двумя отдельными камерами, встроенными в один корпус и разделенными известным расстоянием, Tordivel сочетает стереозрение с лазерной проекцией.

«Проектор случайного рисунка (RPP) гарантирует, что объект будет иметь достаточную текстуру для надежных расчетов стереозрения», - говорит Тор Воллсет, генеральный директор Tordivel. «Я бы сказал, что лазерная триангуляция менее сложна, чем стереозрение, потому что трехмерные точки генерируются на основе угла между камерой и лазером, что фактически является простым двухмерным расчетом. 3D-калиброванная камера знает, куда движется каждый пиксель в пространстве. Это используется для перемещения между 2D и 3D изображениями с использованием позы 3D объекта для извлечения наиболее точных 3D координат из очень точных краев 2D изображений. В лазерном триангуляционном сканере края не могут быть точно описаны, потому что для описания трехмерной точки обычно требуется несколько пикселей. Я бы сказал, что большинство трехмерных облаков точек на самом деле содержат гораздо меньше информации, чем двухмерные изображения ». [Примечание: сторонники лазерной триангуляции говорят, что их системы предлагают лучшее 3D-разрешение, чем стереоскопическое, но, в конце концов, все сводится к расстоянию, скорости лазерного сканирования, разрешению камеры и другим факторам.]

«С помощью нашей камеры Scorpion 3D Stinger и сопутствующего программного обеспечения мы создаем плотное трехмерное облако точек и сопутствующий набор двухмерных изображений высокого разрешения», - добавляет Воллсет. «Начиная с трехмерного изображения, вы можете установить позу объекта или плоскость объекта, а затем перейти к двухмерному изображению, где мы сделаем наиболее точные трехмерные измерения. Два года назад я не думал, что это возможно. Но теперь мы можем извлекать с точностью до миллиметра каждую точку в пределах поля зрения европоддона 800 мм x 1200 мм x 1000 м за секунду. Это может занять от 2 до 5 секунд, в зависимости от времени лазерного сканирования. Еще одно преимущество стереозрения заключается в том, что мы можем захватывать трехмерные данные с движущихся объектов без задержки ». 

4 (2)
2D и 3D: лучшее из обоих миров
Хотя стереоскопические системы могут создавать как 2D-изображения с высоким разрешением, так и 3D-изображения для улучшения данных или упрощения использования системы людьми, не в каждом приложении есть место для стереоскопической камеры.

Благодаря высокоскоростным датчикам CMOS, одна камера может собирать как 2D-изображения с высоким разрешением, так и 3D-данные с помощью лазерной триангуляции. «Вы можете не только делать полутоновое или цветное изображение с высоким разрешением, например, через каждый 1000-й кадр, но также можете устанавливать различные области в поле зрения камеры и собирать либо трехмерные, либо двухмерные данные, либо и то, и другое», - отмечает Андерсон из SICK.

Подобные возможности привлекают новых клиентов к 3D-машинному зрению. «У нас есть клиенты в сфере производства закусок, которые используют 3D для измерения 100% своего продукта, когда он проходит под камерой на конвейере», - говорит Андерсон. «Если вы обещаете 5-дюйм. плитка шоколада, а вы производите плитку размером 4,9 дюйма, это мошенничество. Таким образом, вы допускаете их от 5 до 5,2 дюйма, чтобы убедиться, что вы в безопасности. Но если вы можете сократить это число до 5,05 дюйма, эта компания будет экономить миллионы долларов каждый год. Именно для этого был разработан наш новый Ranger E, который обеспечивает цветные изображения с высоким разрешением, а также трехмерную лазерную триангуляцию ». Компания SICK также недавно представила стационарное сканирование трехмерных объектов с использованием технологии, аналогичной сканерам для считывания 2D-кода на основе изображений.

По мере появления новых решений, облегчающих освоение 3D-технологий новыми пользователями машинного зрения, инсайдеры ожидают, что рынок продолжит расширяться. «Многомерная визуализация, безусловно, растет, - отмечает Рони из FANUC. «Мы видим, что все больше клиентов просят об этом, потому что 3D стало таким же простым в использовании, как 2D машинное зрение».


Время публикации: ноя-01-2019