Лидарные датчики ToF и 10 их потрясающих применений
Лидарные датчики, также известные как датчики ToF имеют множество применений, как в беспилотной системе, так и на земле.
Лидарные датчики Time-of-Flight могут использоваться для сканирования объектов, измерения расстояния, навигации в закрытом пространстве, обхода препятствий, распознавания жестов, отслеживания объектов, измерения объёмов, для измерения высоты, для 3D съёмки, для игр с дополненной реальностью и т.д.
Эта статья о том, что представляет из себя технология Time of flight, как она работает и в каких сферах её лучше использовать. Кроме того, мы рассмотрим некоторых производителей ToF-камер. Ниже приведена дополнительная информация о преимуществах применения лидарных датчиков ToF в той или иной сфере.
Дроны оказывают огромное влияние на многие секторы. Больше об этом вы можете прочитать в статье о наилучшем применении дронов. Реальное их преимущество заключаются в том, что установив на дрон те или иные датчики – вы расширяете спектр полезного применения устройства.
Информация, представленная здесь, включает видео о ToF, в котором рассказывается о применении технологии ToF как на земле, так в воздухе.
Что из себя представляют ToF-камеры? – Ответ
Камеры Time-of-Flight с лидарным датчиком - относительно новая технология, поэтому её ждёт немало инноваций.
Time of Flight (ToF) - это высокоточная дистанционная картография и технология 3D-визуализации. Датчики Time-of-Flight излучают короткий инфракрасный световой сигнал, а камера фиксирует время его пролёта.
Time-of-Flight камеры имеют огромное преимущество перед другими технологиями, так как способны измерять расстояние в пределах зоны, отображаемой видеокамерой, за один снимок.
ToF является одним из многих методов, известных как Дальностное отображение. Устройство, которое используется для получения информации о расстоянии, иногда называют камерой дальности. Дальностное отображение также включает: стереотриангуляцию, триангуляцию листа света, структурированный свет, интерферометрию и кодовую апертуру.
Дальностное отображение с помощью камер Time-of-Flight - это передовые системы LiDar, заменяющие стандартные точечные лазерные лучи. Камеры ToF ориентируются в пространстве используя всего один световой сигнал или вспышку света. Камера может определять время, которое требуется свету для возврата от любого объекта поблизости, комбинировать его с видеоданными и создавать трёхмерные изображения в реальном времени. Эта технология может использоваться с отслеживанием движений рук или мышц лица, при составлении карты помещения, удаления фона с изображения или даже наложения трёхмерных объектов на изображение. Больше об этом читайте ниже в этой статье.
Принцип работы датчика Time of Flight
Time-of-Flight (ToF) - это метод измерения расстояния между датчиком и объектом, основанный на разнице во времени между излучением светового сигнала и его возвратом после отражения от объекта.
Лидарные датчики ToF не оснащены сканером, это означает, что вся зона захватывается одним световым сигналом (вспышкой), а не поточечно лазерным лучом. Времяпролетные камеры фиксируют всю зону в трёх измерениях с помощью специального датчика изображения, и поэтому не нуждаются в движущихся деталях.
Как работает ToF-камера
Трёхмерный лазерный радар Time-of-Flight с быстрой ПЗС-камерой с усиленным пропусканием сигналов обеспечивает разрешение с точностью до миллиметра. С помощью этой техники короткий лазерный импульс освещает зону, а усиленная ПЗС-камера открывает высокоскоростной затвор всего на несколько сотен пикосекунд.
Информация 3D рассчитывается на основе серии 2D изображений, которая была собрана с увеличением задержки между лазерным импульсом и открытием затвора.
Вот видео, в котором понятно рассказывается, что такое технология Time-of-Flight.
Лидарные датчики Time of Flight или Flash LiDAR против Lidar
Времяпролетные камеры также называются Flash LiDAR или Time-of-Flight LiDAR. Между технологиями Flash-LiDAR Time-of-Flight и LiDAR существует большая разница. Чтобы объяснить все различия, вот отличное видео под названием «Датчики LiDAR и Time-of-Flight». В этом видео также рассказывается о компьютерном зрении для создания визуальных эффектов.
Вы также можете прочитать наш пост о датчиках Lidar, под названием «12 лучших лидарных датчиков для БПЛА и другие применения».
Новые решения с применением 3D ToF-камер
Новая 3D-Time-Of-Flight камера обеспечивает точную информацию при высокой частоте кадров по недорогой цене. Дополнительное третье измерение выводит стандартную обработку изображений и понимание изображений на совершенно новый уровень и может открыть множество новых способов применения в области промышленного контроля, автоматизации и логистики, а также в медицине и взаимодействия человека с компьютером.
Технология ToF с или без распознавания жестов
3D Time of Flight-камеры могут работать как с жестами, так и без них. Используя режим жестов, вы тем самым выбираете непосредственное участие человека и более высокую скорость; а работая без жестов – вы выбираете точность. Приложения для жестов преобразуют движения человека (лицо, руки, пальцы или все тело) в символьные директивы на командный пульт управления, smart-телевизор или портативное вычислительное устройство. Например, переключать каналы можно размахом руки, а листать слайды презентации можно перебирая пальцами. Эти приложения обычно требуют быструю скорость отклика, малый и средний диапазон, уровень точности до см, а также энергопотребление. Microsoft Kinect 2 использует датчики Time-of-Flight с управлением жестами.
Датчики дальности ToF 3D имеют очень много применений без управления жестами. Автоиндустрия опережает БПЛА в использовании ToF-камер. Например, ToF-камера повышает уровень безопасности в автомобиле, уведомляя водителя (даже если машина едет на автопилоте) о нахождении людей или каких-либо предметов в непосредственной близости от автомобиля. В работе с роботизированном или автоматизированном оборудованием, датчики ToF способствуют обнаружению дефектов и обеспечивает безопасность людей и роботов, работающих в непосредственной близости.
Некоторые из приложений, не использующих жестов, предназначены для сканирования объектов, навигации в замкнутом пространстве, навигации в открытом пространстве, обнаружения препятствий, предотвращения столкновений, отслеживания объектов, измерений объёмов, измерения высот, съёмки трёхмерных изображений, игр с дополненной реальностью и многого другого.
Несущие сигналы Flash Lidar Time of Flight
ToF использует различные типы сигналов (так называемые несущие сигналы), причём звуковые и световые являются наиболее распространёнными.
Несущий световой сигнал
Использование света в качестве несущего сигнала - широко распространено, так как свет способен сочетать скорость, дальность, малый вес, а также безопасен для глаз. Инфракрасный свет понижает вероятность помех, также ИК легко отличить от естественного освещения, что повышает производительность датчиков, не смотря на их размер и вес.
Несущий звуковой сигнал
Ультразвуковые датчики используются для определения дальности объектов (отражателей) при навигации робота или БПЛА. Для этой задачи чаще всего используют является датчик Time-of-Flight, который вычисляет расстояние до ближайшего объекта (отражателя), используя скорость звука и время возврата испускаемого сигнала и эха.
Преимущества лидарных датчиков Time of Flight
Будучи новой технологией, Time-of-Flight или 3D Flash LIDAR имеет ряд преимуществ по сравнению с обычными точечными (однопиксельными) камерами и стереоскопическими камерами, в том числе:
Простота
В отличие от стереозрения или триангуляции, вся система очень компактна: освещение располагается рядом с объективом, тогда как другим системам требуется определённая базовая линия. В отличие от систем лазерного сканирования, здесь не нужны механические движущиеся части. Большим преимуществом камеры Time-of-Flight является то, что она способна создавать трёхмерное изображение всего за один снимок. Многие другие системы 3D-зрения требуют намного больше изображений и махинаций.
Эффективность
Процесс извлечения информации о дальности из выходных сигналов датчика ToF - прямой. В результате эта задача использует лишь небольшую вычислительную мощность, когда стереозрение использует сложные алгоритмы корреляции, требующие гораздо большей вычислительной мощности с использованием большего количества энергии. После того, как данные о дальности извлечены, начинается процесс обнаружения объекта, который также является простым, потому что алгоритмы не нарушаются шаблонами.
Скорость
Времяпролетные 3D-камеры способны измерять расстояния в пределах всей зоны за один снимок. Поскольку камеры делают до 160 кадров в секунду, они идеально подходят для использования в приложениях реального времени.
Стоимость
По сравнению с другими технологиями 3D-сканирования, такими как системы камер / проекторов со структурированным светом или лазерные дальномеры, технология ToF стоит довольно недорого.
Технологические преимущества ToF Flash Lidar
• Легкий вес
• Полная информация time-of-fligh (3D-изображение), собранная с помощью одного лазерного сигнала
• Однозначный прямой расчет дальности
• Без размытия изображения, без искажения движения
• Совместная регистрация диапазона и интенсивности для каждого пикселя
• Четкость каждого пикселя в кадре
• Возможность представлять объекты, которые наклонены к камере
• Нет необходимости в точных сканирующих механизмах
• Объединение 3D Flash LIDAR с 2D камерами (EO и IR) для создания 2D текстуры
• Возможность объединения нескольких камер 3D Flash LIDAR для создания полноценной трехмерной картины.
• Меньше по размеру и легче, чем точечные системы сканирования
• Нет движущихся частей
• Низкое энергопотребление
• Способность «видеть» в затруднённых условиях (туман, дым, пар, дымка, дождь)
Стоимость камеры ToF
Что действительно впечатляет в 3D-камерах Time-of-Flight, так это то, что они стоят довольно недорого. Как правило, цены на камеры ToF стартуют примерно с 150 долларов США за такую камеру, как TeraRanger One.
В то же время, цены на камеры ToF могут доходить до тысяч долларов.
Датчики ToF имеют широкий спектр функций, спецификаций и применений, поэтому их трудно сравнивать между собой.
Производители 3D-камер ToF Flash Lidar
AMS / Heptagon: располагает большим ассортиментом лидарных датчиков Time-of-Flight для самых разных решений. 3D-датчики Time-of-Flight от Heptagon Laura и Lima используются для БПЛА и роботов.
Heptagon перешёл под юрисдикцию AMS в январе 2017 года. Уже более 20 лет Heptagon работает на рынке лидарных датчиков ToF и владеет всем арсеналом технологий ToF, включая структуру пикселей, разработку аналоговых и смешанных сигналов, разработку ASIC и разработку встроенного программного обеспечения.
Первые концепции ToF были разработаны и представлены на CSEM, из которой была выведена Mesa Imaging. Эта технология получила дальнейшее развитие и промышленную реализацию в серии «SwissRanger» (больше не производится) - эталоне для промышленных 3D-камер. За это время был разработан объёмный патентный портфель, включающий пиксели ToF и концепции трехмерных измерений. В 2014 году Heptagon приобрел Mesa. Благодаря этому, пиксели «фазовой модуляции ToF» высшего класса от Mesa объединились с уникальными технологиями упаковки и оптики Heptagon и навыками массового производства.
ASC TigerCub: это технология 3D-liDAR с лазерной камерой Zephyr от ASC - небольшой интегрированной 3D-камера с форм-фактором. Эта камера охватывает угол 128 x 128 независимо от кол-ва пикселей на каждый кадр. Это позволяет генерировать 16 300 трёхмерных отдельных точек со скоростью до 20 кадров в секунду в виде трёхмерных облаков точек или видеопотоков на лазерный сигнал (кадр) в режиме реального времени. The Камера TigerCub с лидарным датчиком ToF весит 1,4 кг, поэтому вам нужен довольно крепкий дрон, чтобы поднять этот датчик. Трёхмерная матрица фокальной плоскости и лазерные технологии ASC были испытаны и использованы в широком спектре применений. Встроенная обработка во всех 3D-камерах ASC позволяет передавать потоковое трёхмерное облако точек сканирования и выводить интенсивность, а также телеметрию камеры.
Вывод трёхмерных данных используется для обеспечения автономных операций (например, сближение, удаление, посадка и т. д.).
TeraRanger One - Этот лидарный датчик ToF весит всего 8 грамм и стоит от 150 долларов США. Идеально подходит для беспилотных и роботизированных операций. Ряд продуктов для измерения удаленности T0F от TeraRanger One чрезвычайно популярны. Существует огромный выбор камер TeraRanger One ToF;
• TeraRanger One помогает системе видеоконтроля "умных" дронов
• Обнаружение стеклянных поверхностей с помощью инфракрасных датчиков Time-of-Flight
• Используя дроны TeraRanger One нмного проще следить за состоянием виноградников
• Подключи и играй сенсорные матрицы
• Автоматическая реинициализация и восстановление после сбоя
• Возможность летать в лесу, обходя препятствия
Теперь ознакомьтесь с ToF-камерой от TeraRanger One.
Riegl - предоставляет ToF, LiDAR и различные другие 3D-камеры и сканеры с широким спектром характеристик и применений. Их датчики работают на многих платформах: беспилотные, бортовые, мобильные и наземные 3D ToF и лазерные устройства.
AdaFruit - основана в 2005 году высококлассным программистом и инженером MIT Лимор «Ladyada» Фрид. Ее цель заключалась в том, чтобы создать лучшее место в Интернете для изучения электроники и создания лучших электронных продуктов для производителей всех возрастов и уровней квалификации. Adafruit выросла до более чем 100 сотрудников в центре Нью-Йорка с фабрикой площадью более 50 000 квадратных футов.
В датчике AdaFruit VL53L0X ToF расположен крошечный лазер и соответствующий датчик. VL53L0X может определить «время полета» или время, необходимое для того, чтобы свет вернулся к датчику. Поскольку он использует очень узкий источник света, он подходит для определения дальности объекта, находящегося непосредственно перед ним.
В отличие от гидролокаторов, которые отражают ультразвуковые волны, сенсорное «ядро» очень узкое. В отличие от ИК-датчиков дальности, которые измеряют отраженный свет, VL53L0x намного точнее и не имеет проблем с линейностью или «двойной визуализацией», когда невозможно определить, находится ли объект очень далеко или очень близко.
VL53LoX является «старшей сестрой» лидарного датчика ToF VL6180X и способен измерять расстояние от 50 до 1200 мм. Если вам нужен более короткий/ близкий диапазон, попробуйте VL6180X, который может измерять от 5 мм до 200 мм, а также оснащён датчиком освещённости.
Комбинация датчиков Flash Lidar ToF с другими датчиками
Многие компании комбинируют камеры ToF с другими датчиками, программным обеспечением и алгоритмами для получения комплексного решения. Например, один дрон может объединять датчики Time-of-Flight, LiDAR, Stereo Vision и ультразвуковые датчики, чтобы обеспечить множество автономных режимов полёта, а также систему предотвращения столкновений. Другим примером могут служить такие продукты, как технология Microsoft Kinect 2 в XBox One или режимы жестов на дронах для съёмки селфи. Они объединяют такие технологии, как компьютерное зрение, обработка сигналов и машинное обучение, и технологию Time-of-Flight при создании продукта или функции в продукте.
Сельскохозяйственные дроны оснащены многоспектральными датчиками, среди которых также датчики ToF для наблюдения за состоянием сельскохозяйственных культур. Подробнее об этом позже.
Дронах, способные предотвращать столкновения, оснащены не только датчиками ToF, но также Vision или LiDAR, чтобы обходить препятствия. Датчики ToF способны измерять высоту. Подробнее об этом дальше в этой статье.
Вот еще одна серия потрясающих статей о дронах, оснащенных разными датчиками для расширения спектра применений.
Камеры ToF , локальное или облачное хранилище и программное решение
Но установить датчик Time-of-Flight и начать съемку - мало. Требуется полное решение ToF. Сначала нужно установить датчик дальности ToF на дрон. Затем пролетите над целью или объектом, когда камера ToF еще загружается.
Изображения можно просматривать в режиме реального времени. Тем не менее, их можно переместить и сохранить. Затем, с помощью специализированного программного обеспечения, генерируется трехмерное изображение, карта или фильм, где его можно анализировать и интерпретировать в полноценную информацию, с которой можно работать дальше.
Устройство Full Flash Lidar ToF
Вот пример устройства Kespry для подсчета объема складских запасов (камень, гравий, породы, бумага, бревна, щепа, мульча, навоз и т.д.)
Летайте над складом, используя дрон Kespry 2 . Во время полета, датчик камеры ToF захватывает всю территорию склада в трех измерениях всего одним световым сигналом. Эти данные автоматически загружаются в облачное хранилище. Затем происходит обработка данных, благодаря которой можно подсчитать запасы в совокупности менее чем за одну минуту, включая периметр, площадь и объем каждой кучи. Дальнейшая и более полная информация будет доступна в течение 1-6 часов. Независимо от того, замеряете ли вы запасы песка, камня или дерева, достаточно всего лишь нескольких кликов мышью.
Кроме того, для расчета веса и стоимости запасов можно ввести коэффициенты плотности и стоимости, что идеально подходит для проведения инвентаризации. С помощью этого устройства ToF можно точно измерить даже запасы нестандартной формы, находящиеся у стен.
Какие бывают применения датчиков Flash Lidar ToF, установленных на дронах? – Ответ
Камеры Time-of-Flight чаще всего применяются следующим образом:
• Навигация в замкнутом пространстве
• Распознавание жестов
• Сканирование объектов
• Предотвращение столкновений
• Отслеживание объектов
• Измерение объёмов
• Наблюдение за целевой зоной
• Подсчет предметов или людей
• Быстрые точные показания расстояния до цели
• Дополненная реальность / Виртуальная реальность
• Оценка размеров и формы объектов
Технология ToF используется не только на дронах, но и в различных областях, таких как:
• Логистика / на складах
• Автоматизация фермы
• Наблюдение и безопасность
• Робототехника
• Медицина
• Игры
• Фото
• Кинопроизводство
• Автоиндустрия
• Археология
• Экологические проекты
Дроны дополненной реальности с технологией Flash Lidar ToF 3D
Дополненная реальность (AR) - это прямое или косвенное представление о реальном физическом мире, элементы которого дополняются (или приукрашиваются) с помощью компьютерной графики, звуков, видео или данные GPS.
Дроны дополненной реальности с технологией ToF для игр
Дрон Walkera Aibao вместе и его приложение позволят вам играть в виртуальной реальности в реальном мире. Это первый дрон, который позволяет реальному миру переплетаться с виртуальным.
Вы можете вывести этот дрон в открытый космос, летать и сражаться в космосе. В играх доступны режимы Гонок, Битвы и Коллекции. Вот короткое ознакомительное видео о дроне Aibao Game. Очень занимательно.
Дроны с технологией Flash Lidar ToF 3D для навигации в замкнутом пространстве
Достаточно непросто обеспечить, чтобы дрон или даже робот успешно и безопасно осуществлял навигацию в замкнутом пространстве. Автоматизированное картирование, одновременная локализация и картирование являются вычислительными операциями, заключающимися в построении или обновлении карты неизвестной среды, при этом с отслеживанием местоположения оператора в ней.
Давайте сформулируем еще проще. С помощью одновременной локализации и картирования, дрон создаёт карту неизвестной среды, в то же время перемещаясь по этой среде с помощью карты. Приведем пример того, как беспилотный летательный аппарат, использующий камеру дальности, перемещается в замкнутом пространстве.
Дрон Parrot ARDrone использует камеру, направленную вниз, чтобы летать в помещении без GPS. Основной используемый механизм - две фотографии земли, сделанные из-под двигателя. Затем второе фото сравнивается с первым, и вычисляется смещение. Этот показатель указывает на то, насколько БПЛА переместился за временной промежуток между двумя снимками. Этот метод в сочетании с трехмерным датчиком дальности Time-of-Flight, направленным вниз, представляет точный и недорогой механизм для локализации в замкнутом пространстве как в горизонтальном, так и в вертикальном положении.
Вы можете прочитать больше об этом в следующих статьях.
Автономный полет в замкнутом пространстве на Pixhawk
SLAM + AI = Умный Автономный 3D Картографический Дрон
Камеры Flash Lidar ToF для трёхмерного сканирования
В настоящее время дроны широко используются для создания точных трёхмерных моделей сооружений и памятников. Съемки и создание 100% точных моделей древних памятников и объектов наследия сформировали свой рынок. В 2015 году с помощью дрона было успешно создано трёхмерное изображение статуи Христа-Спасителя в Бразилии. До этого точной модели этой статуи не было. При картировании статуи Христа-Спасителя использовалась 3D фотограмметрия, это значит, что дрон летал вокруг статуи, делая тысячи снимков, которые затем были объединены с помощью специальной программы для 3D картирования.
Другие технологии 3D-сканирования используют специализированные и сложные датчики, такие как камеры со структурированным светом / системы проекторов или лазерные дальномеры. Несмотря на то, что они дают данные высокого качества, стоят они довольно дорого и требуют специальных знаний.
Гарвардский университет разработал экономичное решение для 3D-сканирования с использованием камеры Time-of-Flight. На этот раз, устройство было наземным. Однако оно будет продолжать работать при установке на дрон.
С дальнейшим развитием этой отрасли, и стабильными инвестициями, камеры ToF станут экономичной альтернативой для сканирования различных крупных объектов и памятников. Больше о проекте Гарвардского университета, под названием «3D-сканирование с помощью Time-of-Flight камеры», можно прочитать здесь.
Применение дронов с технологией Flash Lidar ToF в сельском хозяйстве
В сельском хозяйстве используются дроны с мультиспектральными датчиками, позволяющие фермеру следить за урожаем и почвой. Эти сельскохозяйственные дроны с мультиспектральной визуализацией используют технологию дистанционного зондирования в зеленом, красном, красном крае спектра и ближнем инфракрасном диапазоне, чтобы захватывать как видимые, так и невидимые изображения культур и растительности. Благодаря наличию данных с мультиспектральных датчиков становится возможным предотвратить засорения и заражение инфцекциями. Они также помогают фермеру при расчетах необходимого количества воды, удобрений и растворов для опрыскивания сельскохозяйственных культур.
Камеры ToF можно использовать несколькими способами. С помощью камер Time-of-Flight можно быстро и точно измерять объемы. Они охватывают всю целевую зону всего за один снимок. 3D-датчики ToF идеально подходят для вычисления плотности посевов и сбора данных о запасах мульчи и навоза.
Чем стабильнее летает дрон, тем точнее будут данные, изображения и видео о посеве. Плавный полет способствует сбору данных, а также увеличивает длительность автономного полета.
Датчики ToF, среди которых TeraRanger One, можно использовать для измерения высоты. По сравнению с лазерными системами с очень узким полем зрения, камера TeraRanger ToF предоставляет более плавный и более стабильный показатель относительной высоты, поскольку дрон летает как над землей, так и над виноградными лозами. Вот интересное видео, в котором рассказывается о сельскохозяйственном мультиспектральном решении для виноградников во Франции от Chouette. Их дроны оснащены камерами ToF TeraRanger One ToF, которые выполняют роль прецизионного высотомера для более стабильного полета и лучшего сбора данных.
Камера дальности Flash Lidar ToF для измерения объемов
ToF-камеры Flash-lidar используются также для измерения объемов, например, пространство в ящиках на фабрике или на складах. На открытом воздухе дроны или краны, оснащённые камерами ToF, способны подсчитывать объемы запасов на складах или сырья, загруженного в грузовики.
Дрон, оснащённый камерой ToF способен частично или полностью облетать область хранения и быстро рассчитывать количество материала, хранимого на складе, или совокупную загрузку грузовика.
Узнайте, как Whitaker Contracting экономит 22% в год, на затратах, используя дроны с камерами ToF при подсчёте складских запасов. Кроме того, что компания экономит круглую сумму, они также подсчитывают свои запасы в 2 раза чаще. Вы можете сократить время, затрачиваемое на подсчёт запасов, на 75%.
Вот ещё несколько интересных статей о том, как с помощью датчиков ToF можно замерять и подсчитывать объемы.
Времяпролетная (TOF) камера измеряет объем коробки
Использование времяпролетной 3D-камеры в измерении объёма
Камера дальности Flash Lidar ToF для измерения расстояний
Датчики Time of Flight обеспечивают быстрое измерение расстояния между датчиком ToF и объектом на основе разницы во времени между излучением сигнала и его возвратом после отражения от объекта.
В следующем видео показан очень простой и экономически эффективный способ измерения расстояния с использованием датчика расстояния SODIAL ToF для Arduino. Датчик ToF очень прост в использовании особенно в работе с библиотекой Adafruit. Плата ToF очень маленького размера, и потому датчики подходят для использования на дронах.
Дроны для фотосъемки с 3D-камерами ToF
Технология 3D все больше набирает популярность в индустрии телевидения и кино. Режиссеры, фотографы и рядовые потребители ищут камеры, которые способны генерировать 3D-контент, будь то видео или фото. 3D-технология основана на датчиках ToF. В отличие от обычной камеры, используя камеры ToF вы получаете не только яркие снимки, но и карту дальности, включающую данные о расстоянии для каждого пикселя, полученные путем подсчёта времени, необходимого свету для достижения объекта и возврата к камере (принцип ToF).
Больше информации о 3D-камерах на DPReview.
Анализируя последние пару лет можно увидеть, что камеры в дронах выходят на новый уровень. В прошлом году было немало моделей с камерами 4k. Также было представлено 2 дрона с зум-камерами - Walkera Voyager и камера Zenmuse Z3 для дрона DJI Inspire 1. Так что, вполне можно ожидать появление 3D-камеры для БПЛА уже в ближайшее время.
Применение дронов с технологией Flash Lidar ToF для работы на складах
За последние несколько месяцев было опубликовано немало статей о компаниях, которые занимаются производством дронов для работе на складах. Вот статья о дронах, использующих технологию RFID для подсчета поддонов и инвентаря на складах. Камеры ToF можно использовать для сканирования объектов и подсчета объема.
В другой статье рассказывается об использовании лидарных датчиков ToF на дроне Eyesee от Hardis Group. Дрон Eyesee оснащен встроенной камерой и технологией геолокации в помещении, которая позволяет ему перемещаться с использованием заранее определенного плана полета и получать соответствующие данные о поддонах, хранящихся на складе. Затем дрон связывает полученное изображение с его расположением на складе и автоматически переводит свое пространственное положение в логистический адрес (место хранения).
Распознавание жестов на дронах с технологией ToF
Microsoft Kinect 2 использует датчики Time-of-Flight 3D в сочетании с компьютерным зрением, обработкой сигналов и машинным обучением. Многие смартфоны вскоре также будут выполнять больше жестовых команд, интегрированных в приложения.
На нашем рынке представлено несколько дронов с режимом жестов, который пригодиться при съемке селфи. DJI Mavic Pro и Phantom 4 Pro поддерживают режим жестов.
Последний квадрокоптер DJI Mavic Air использует расширенные функции распознавания жестов и мимики лица для полета и съемок. Больше об этом вы можете прочитать и посмотреть видео в обзоре DJI Mavic Air.
DJI не дает подробной информации о технологии, стоящей за режимом жестов. Известно, что для автономных режимов полета и предотвращения столкновений они комбинируют датчики Vision и Ultrasonic вместе со сложными алгоритмами. Так или иначе, вскоре мы увидим больше дронов с жестовыми управлением и автономными режимами полета, в которых ToF играет свою роль.
Применение дронов с технологией Flash Lidar ToF в автоиндустрии
В автомобильной промышленности разрабатывается целый ряд систем, в том числе и систем безопасности, использующих лидарные датчики Time-Of-Flight. Вот почему я считаю, что БПЛА индустрия также начнет инвестировать время и ресурсы в технологию Time-of-Flight. Приведем несколько примеров инноваций в автоиндустрии с применением технологии ToF;
• Мониторинг состояния водителя, например, определение положения головы и распознавание сонливости
• Классификация пассажиров, используемая для автономной установки заранее заданных предпочтений пассажиров, оптимизированной визуальной индикации на лобовом стекле и оптимально настроенного усилия раскрытия подушки безопасности.
• Бесконтактное управление жестами, например, информационно-развлекательные, навигационные и климатические системы
• Окружающий вид для помощи при парковке и обнаружения препятствий
Например, ToF-датчик камеры MLX75123 является полностью интегрированным сопутствующим чипом для Melexis. Он идеально подходит для использования в автоиндустрии и не только, включая, помимо прочего, распознавание жестов, мониторинг водителя, обнаружение людей или препятствий и мониторинг движения.
Вот потрясающее видео о новейшей лидарной камере Melexis, которая будет использоваться для повышения безопасности в автоиндустрии.
Дроны с системами предотвращения столкновений
В 2016 году мы впервые увидели малые потребительские и бизнес-дроны, в которых есть функция обнаружения препятствий. В зависимости от дрона, его сенсорной технологии и программного обеспечения, дрон способен либо остановиться и зависнуть при обнаружении объекта, либо обойти объект. В настоящее время, одной из многих особенностей камер Time-of-Flight с лидарными датчиками является предотвращение препятствий и столкновений. Однако, исследуя некоторые из последних моделей дронов, я могу выделить всего 3 дрона, которые используют ToF для обхода препятствий. Один из этих дронов использует камеру ToF для обнаружения объектов исключительно над дроном. Другой - использует камеру ToF в сочетании с другими датчиками, чтобы избежать препятствий. Поскольку это довольно новая технология, я полагаю, что вскоре мы увидим еще больше дронов, использующих камеры ToF с лидарными датчиками для обнаружения препятствий.
Ниже приведен краткий обзор БПЛА, которые оснащены автономными системами предотвращения столкновений, и датчики, которые они используют.
DJI Matrice M200 - это новейший коммерческий дрон от DJI, имеющий множество применений, включая разнообразный контроль (линий электропередач, мостоа, вышек сотовой связи). Он очень легко адаптируется и работает с камерами Zenmuse X4S, X5S, Z30 и XT. Также в нем есть возможность крепления камеры поверх квадрокоптера.
Если говорить об автономности полета, DJI Matrice M200 сочетает несколько датчков для обнаружения препятствий и предотвращения столкновений. Направленная вверх лазерная сенсорная камера Time-of-Flight распознает объекты, находящиеся над M200. Matrice 200 использует датчики стереозрения для обнаружения объектов, находящихся под и перед дроном.
Walkera Vitus - новый складной дрон от Walkera, выпущенный в июне 2017 года, обладает множеством потрясающих новых технологий. Он работает на 3 направления (спереди, слева, справа) предотвращения препятствий с использованием инфракрасного датчика TOF. 3 высокоточных датчика и умная система предотвращения препятствий способны обнаруживать препятствия за 5 метров (15 футов) по 3 направлениям.
Wakera Vitus - идеально подходит для начинающих. Он обладает стабилизацией высшего качества отличную, хорошей камерой и целым рядом "умных" режимов полета для следования, таких как Follow, Orbit и Waypoint fly.
AscTec FireFly - в следующем видеоролике 2015 года компания Ascending Technologies (AscTec) демонстрирует революционную систему предотвращения столкновений для дронов. Датчик TeraRanger One ToF использовался в качестве высотомера в быстро меняющихся условиях естественного освещения. Ascending Technologies перешла под юрисдикцию Intel в январе 2016 года, и дрон FireFly больше не доступен.
DJI Phantom 4 Pro - усовершенствованный Phantom 4 Pro оснащен системой распознавания окружающей среды на основе датчиков стереозрения и инфракрасных датчиков. Три комплекта двухдиапазонных датчиков изображения образуют 6-камерную навигационную систему, которая постоянно рассчитывает относительную скорость и расстояние между дроном и объектом. Используя эту сеть датчиков переднего, заднего и нижнего обзора, Phantom 4 Pro может зависать в местах без GPS при взлете в помещении, на балконах или даже при полете через окна с минимальным участием пилота. Он способен обнаруживать препятствия на расстоянии 98 футов впереди, что позволяет ему планировать траекторию полета, чтобы избегать их или просто зависать в воздухе в случае чрезвычайной ситуации. В сочетании с инфракрасными датчиками с левой и правой сторон, Phantom 4 Pro может обходить препятствия в четырех направлениях. Способность обнаруживать препятствия спереди и сзади позволяет Phantom 4 Pro летать со скоростью 31 миль в час при полной защите системы стереозрения. Тем не менее, мы видим, что DJI не использует технологию ToF в системах предотвращения столкновений в Phantom 4.
Phantom 4 Pro - один из лучших дронов на рынке. Он широко используется во всех видах бизнеса и для личного использования. Данный БПЛА высокотехнологичен, а умные режимы полета Phantom 4 значительно опережают дроны, аналогичные по цене.
Yuneec Typhoon H - чтобы обходить препятствия этот дрон использует технологию Intel RealSense. RealSense интегрируется с режимом Follow Me. Он оснащён камерой Intel® RealSense ™ R200 с модулем Intel на атомной основе, которые позволяют ему создавать трехмерную модель окружающей среды и обходить препятствия. Технология RealSense запоминает окружающую среду, способствуя, тем самым, предотвращению возможных столкновений. Также, дрон запоминает местоположение препятствия, столкнувшись с ним единожды, и автоматически обходит его в следующий раз. Камера Intel RealSense оснащена инфракрасным лазерным проектором, который излучает инфракрасный луч по направлению полета дрона. А ИК-камера считывает этот луч. Основываясь на смещении луча из-за наличия каких-либо объектов в зоне полета, он может рассчитать расстояние от камеры до этих объектов. Этот метод вычисления дальности в целом известен как метод структурированного света. Так работает немало 3D-камер, среди них оригинальная Kinect.
Датчик R200 использует статическую ИК-"точку" а также пассивную ИК-стереоскопию. Чем-то похоже на то, как работает Kinect 1. Поэтому Yuneec Typhoon H не использует технику ToF.
