Исследователи Новосибирского филиала НМИЦ МНТК «Микрохирургия глаза» и Новосибирского государственного университета работают над прототипом прибора, который будет автономным и сможет работать без Интернета. Затем предстоит настройка устройства, установление режимов, сбор базы данных и обучение ИИ, рассказывает паблик ВКонтакте Минздрава России.
Суть разработки
Устройство состоит из видеокамеры, наушников и одноплатного 16-ядерного компьютера, который можно носить в наплечной сумке. Разработка облегчит слабовидящим и незрячим людям ориентацию в пространстве.
Устройство снабдят аккумулятором, а все элементы соединят беспроводными каналами коммуникации. Пользователь будет держать видеокамеру в руке и наводить ее, куда хочет. Общий вес прибора с аккумулятором составит около килограмма.
По предварительным данным, прототип разработки будет готов к концу года.
Принципы работы
При создании устройства используется мультимодальная модель, выполняющая качественное словесное описание окружающих предметов.
В перспективе у пользователя появится возможность задавать уточняющие вопросы и получать развернутые ответы. Языковая модель также распознает тексты, считывает надписи, указатели, предупреждения о препятствиях и т.п.
— Когда человек читает книгу или слушает аудиозапись, в его мозгу формируются определенные образы о предметах. Если дать слабовидящему или слепому пациенту через слуховой анализатор возможность определять расстояние до объекта, его размеры — это, безусловно, поможет ему в реальной жизни и адаптации в социальной среде», — рассказал директор Новосибирского филиала НМИЦ МНТК «Микрохирургия глаза» Минздрава России Валерий Черных.


