Ученые разработали технологию управления авто на основе голосовых команд
Исследование в Макао университете привело к созданию новейшей технологии для управления автономными автомобилями через голосовые команды. Эта технология интегрирует в себя элементы компьютерного зрения, обработки естественного языка и передовые речевые модели.
Отмечается, что многие люди все еще скептически относятся к идее полностью доверять управление автомобилями технологиям. Введение голосового интерфейса может позволить пассажирам взаимодействовать с автомобилем, что способствует повышению доверия к автономным транспортным средствам.
Одним из главных вызовов является адаптация системы к пониманию естественной речи и ее ассоциации с реальными дорожными условиями. Команда использовала датасет Talk2Car, который требует от системы определять объекты на дороге на основе текстовых инструкций.
Разработанная модель CAVG использует зрительные возможности для идентификации объектов на видео с камеры и их анализа на соответствие голосовым командам. Также отмечается понимание эмоциональной окраски команд и сложных дорожных ситуаций. Система включает новейшие языковые технологии, например GPT-4V, для точной интерпретации указаний.
Эффективность модели проверялась в сложных условиях: ночное время, в густом городском трафике, при нечетких командах и плохой видимости.
Результаты CAVG оказались очень обнадеживающими, превысив параметры имеющихся альтернатив. Проект планируется расширить, добавив новые типы данных, например изображения с «птичьего полета» и информацию о траектории движения, что увеличит точность управления и повысит надежность автономных авто.
Детали электрики найдете здесь — https://exist.ua/elektrika/
