Студенти Університету Британської Колумбії розробили стіл для аерохокею з роботом під керуванням штучного інтелекту. Систему навчили грати виключно у віртуальному середовищі, а потім перенесли на реальний стіл. Робот одразу склав серйозну конкуренцію людським суперникам без будь-якої попередньої практики в реальних умовах.
Навчання у цифровому світі
Зазвичай роботів з ШІ тренують методом спроб і помилок у реальних умовах. Це потребує тисяч запусків, займає багато часу та може пошкодити обладнання. Команда вирішила спочатку створити точну цифрову копію стола. У симуляції штучний інтелект тренувався без ризику для техніки.
Аерохокей — складне завдання для ШІ. Шайба рухається швидко, часто змінює траєкторію після ударів об борти та ключки. Навіть дрібні помилки вирішують результат. Додаткові труднощі — затримки камер і моторів, коливання напруги, вібрації та неточності відстеження.
Рандомізація та реальні результати
У симуляції врахували нерівності бортів, деформації поверхні, непередбачувані відскоки, просідання живлення та затримки камери. Такий підхід навчив систему очікувати різні сценарії та швидко реагувати. Замість точного прогнозу одного відскоку ШІ оцінював кілька можливих варіантів.
Для навчання використали метод soft actor critic. Після мільйонів змодельованих матчів робот значно покращив гру та адаптувався до непередбачуваних ситуацій. У реальному матчі систему підтримувала камера над столом і шайба з ретровідбиваючим покриттям — відстеження відбувалося зі швидкістю 120 кадрів за секунду.
Розробники вважають, що подібний підхід допоможе швидше навчати дрони, автономні транспортні засоби та інші роботизовані системи перед використанням у реальних умовах.
Leave a Reply