Студенты Университета Британской Колумбии разработали стол для аэрохоккея с роботом под управлением искусственного интеллекта. Систему научили играть исключительно в виртуальной среде, а затем перенесли на реальный стол. Робот сразу составил серьёзную конкуренцию человеческим соперникам без какой-либо предварительной практики в реальных условиях.
Обучение в цифровом мире
Обычно роботов с ИИ тренируют методом проб и ошибок в реальных условиях. Это требует тысяч запусков, занимает много времени и может повредить оборудование. Команда решила сначала создать точную цифровую копию стола. В симуляции искусственный интеллект тренировался без риска для техники.
Аэрохоккей — сложная задача для ИИ. Шайба движется быстро, часто меняет траекторию после ударов о борта и клюшки. Даже мелкие ошибки решают результат. Дополнительные трудности — задержки камер и моторов, колебания напряжения, вибрации и неточности отслеживания.
Рандомизация и реальные результаты
В симуляции учли неровности бортов, деформации поверхности, непредсказуемые отскоки, проседание питания и задержки камеры. Такой подход научил систему ожидать разные сценарии и быстро реагировать. Вместо точного прогноза одного отскока ИИ оценивал несколько возможных вариантов.
Для обучения использовали метод soft actor critic. После миллионов смоделированных матчей робот значительно улучшил игру и адаптировался к непредсказуемым ситуациям. В реальном матче систему поддерживала камера над столом и шайба с ретроотражающим покрытием — отслеживание происходило со скоростью 120 кадров в секунду.
Разработчики считают, что подобный подход поможет быстрее обучать дроны, автономные транспортные средства и другие роботизированные системы перед использованием в реальных условиях.
Добавить комментарий