Вчені розробили технологію управління авто на основі голосових команд
Дослідження у Макао університеті призвело до створення новітньої технології для управління автономними автомобілями через голосові команди. Ця технологія інтегрує в себе елементи комп'ютерного зору, обробки природної мови та передові мовні моделі.
Зазначається, що багато людей все ще скептично ставляться до ідеї повністю довіряти управління автомобілями технологіям. Введення голосового інтерфейсу може дозволити пасажирам взаємодіяти з автомобілем, що сприяє підвищенню довіри до автономних транспортних засобів.
Одним з головних викликів є адаптація системи до розуміння природної мови та її асоціації з реальними дорожніми умовами. Команда використовувала датасет Talk2Car, який вимагає від системи визначати об’єкти на дорозі на основі текстових інструкцій.
Розроблена модель CAVG використовує зорові можливості для ідентифікації об’єктів на відео з камери та їх аналізу на відповідність голосовим командам. Також наголошується на розумінні емоційного забарвлення команд та складних дорожніх ситуацій. Система включає новітні мовні технології, наприклад GPT-4V, для точної інтерпретації вказівок.
Ефективність моделі перевірялася у складних умовах: нічній час, у густому міському трафіку, при нечітких командах та поганій видимості.
Результати CAVG виявилися дуже обнадійливими, перевищивши параметри наявних альтернатив. Проєкт планується розширити, додавши нові типи даних, як-от зображення з “пташиного польоту” та інформацію про траєкторії руху, що збільшить точність управління та підвищить надійність автономних авто.
Деталі електрики знайдете тут – https://exist.ua/uk/elektryka/
