Систему для общения врачей с глухими пациентами создали в Санкт-Петербурге👨‍⚕️

Специалисты Санкт-Петербургского Федерального исследовательского центра РАН создали программный комплекс, который способен на основе интеллектуального анализа видео распознавать жестовый язык людей с нарушениями слуха и преобразовывать ее в текст, рассказывают авторы сайта СПБ ФИЦ РАН. Приложение планируется использовать в медицинских учреждениях для того, чтобы повысить эффективность оказания врачебной помощи для глухих пациентов. Разработка будет способствовать повышению качества жизни людей с ограниченными возможностями.

Для обучения нейросети ученые разработали уникальную базу данных жестов, которые используются глухими людьми при описании сфер, связанных с медициной и здоровьем. Она состоит из 85 жестовых высказываний, записанных 12 дикторами в пяти вариантах. При этом видеозаписи всех жестов являются разноракурсными, что повышает их информативность. Общая продолжительность всех видеозаписей составила около семи часов.

Программное обеспечение с помощью видеокамеры фиксирует жесты пациента. Ученые выяснили, что одни и те же жестовые элементы могут значительно различаться в зависимости от возраста и пола пациента, поэтому система учитывает этот фактор для повышения точности интерпретации. После этого программа автоматически преобразует язык жестов в текст в режиме реального времени. Точность системы составляет более 90%.

Фото: скриншот из видео СПБ ФИЦ РАН

#сделановроссии
#глухиелюди
#разработка

🇷🇺 Подписывайтесь на «Сделано в России»