Китайські ШІ-моделі навчили роботів розпізнавати скло та дзеркала -

Китайська компанія Robbyant представила дві нові ШІ-моделі — LingBot-Depth 2.0 та LingBot-Vision. Вони допомагають роботам точніше визначати відстань до предметів і розпізнавати об’єкти у складних умовах.

Покращення просторового сприйняття

LingBot-Depth 2.0 створили для покращення просторового сприйняття роботів. Модель навчали на 150 мільйонах зразків. Вона показала найкращі результати у 12 із 16 тестів на відновлення даних про глибину сцени.

Особливо помітно точність зросла у приміщеннях, де камери роботів втрачають частину інформації про відстань до предметів. Похибка моделі в таких умовах скоротилася більш ніж удвічі. Показник RMSE знизився з 0,132 до 0,062.

Нова система також краще розпізнає скло, дзеркала та прозорі предмети. Звичайним камерам глибини складно працювати з такими поверхнями через відбиття або проходження світла.

Покращити результат допомогла LingBot-Vision — базова модель комп’ютерного зору для роботів. Під час навчання ШІ окремо вчили визначати межі та структуру предметів. Завдяки цьому система може дуже точно знаходити контури об’єктів і краще розуміти їхнє розташування у просторі.

LingBot-Vision навчали на 160 мільйонах зображень. Попри відносно невеликий набір даних, система показала конкурентні результати. Вона також може стабільно відстежувати краї та контури предметів у відео.

LingBot-Depth 2.0 уже протестували для використання у комерційній робототехніці. Модель отримала сертифікацію лабораторії Depth Vision компанії Orbbec.

Під час випробувань із 3D-камерами серії Gemini 330 система точніше визначала краї та контури предметів, розпізнавала невеликі об’єкти й оцінювала відстань на великій дистанції. Також модель краще працювала за складного освітлення та з різними матеріалами.

Robbyant і Orbbec планують використовувати технологію у новому обладнанні для збору даних, необхідних для навчання роботів. Пристрій RGB-D EGO отримає спеціальну версію LingBot-Depth для запису якісних просторових даних.

У майбутньому розробники планують додати вдосконалену комерційну версію моделі. Вона має ще точніше відновлювати інформацію про відстань, визначати межі об’єктів і розпізнавати структуру простору, щоб роботи могли краще працювати у реальних умовах.