31 августа Яндекс выпустил экспериментальное приложение «Разговор», которое призвано помощь общаться людям с нарушением слуха с другими людьми при помощи распознавания речи собеседника. Подробнее о самом приложении написано в блоге Яндекса.
Мы поговорили со студентом Физтеха Акмалом Артиковым, который вместе со своими одногруппниками придумал и написал прототип этого приложения, а сейчас является менеджером этого проекта в Яндексе.
Акмал Артиков
Акмал, расскажи как появился этот проект?
Прошлой осенью, когда я учился на 4 курсе, на кафедре «Анализ данных» у нас были предметы по выбору. Один из предметов назывался «Управление продуктом», его вели сотрудники Яндекса Софья Терпугова и Денис Поповцев. В рамках этого курса нужно было придумать какой-либо интересный продукт на основе технологий Яндекса: SpeechKit и Computer Vision.
Курс проводился первый раз?
Да, это был первый год, он останется на кафедре. Как раз сегодня текущим четверокурсникам презентовали программу курса и приводили наше приложение в пример :-)
На курсе нам рассказывали как проводить глубинные интервью, анализировать рынок, придумывать идеи. В процессе обучения у нас родилась идея распознавать язык жестов с помощью компьютерного зрения, но мы поняли, что такой проект не осилить группе студентов за один семестр. Тут мы вспомнили, что есть еще распознавание речи.
Сразу выбрали в качестве аудитории людей с потерей слуха?
Мы придумали идею, отталкиваясь от технологий. Сначала поискали что уже сделали в мире на базе распознавания речи и изображений и, проанализировав результат, начали думать как можно помочь людям с ограниченными возможностями.
Где-то в начале ноября у нас сформировалась идея: распознавание речи для глухих и слабослышащих. Из аналогов мы нашли только несколько кустарных приложений, сделанных энтузиастами, поэтому решили делать свой проект.
Когда начали писать приложение?
В конце курса наши преподаватели организовали хакатон. Мы засели на ночь в офисе Яндекса и там сделали прототип приложения.
Перед хакатоном мы изучали мир глухих людей, про который никто особо ничего не знает. Я их искал ВКонтакте, налаживал с ними связь. Одного даже позвали в Яндекс, чтобы пообщаться подробнее. По результатам разговора поняли примерно куда копать и что делать.
После создания прототипа мы решили проверить его в деле. Я нашел группу глухих людей, которая изучает английский язык, в конце занятия мы показали им приложение. У них сразу загорелись глаза, они начали его активно тестировать. Сначала сами пытались говорить в телефон, но у многих из них искаженная речь, поэтому распознавание работало плохо. Мы и объяснили, что приложение нужно для общения со слышащими, то есть говорить в телефон должны не они, а их собеседники. Несмотря на то, что прототип работал неидеально (диктовать нужно в относительной тишине), фидбек был восторженный. Мы поняли, что у людей действительно есть потребность в таком технологическом решении.
Как проект попал в Яндекс?
На Физтехе началась зачетная сессия и проект отошел на второй план. В это время наша преподавательница Соня предложила своим коллегам из Яндекса продолжить развивать приложение внутри компании, и это оказалось им интересно. Из нашей команды тоже никто не был против передать проект. Поскольку менеджерской работой по приложению занимался в основном я, то Соня предложила мне пройти собеседование в Яндекс. Я успешно его прошел, и теперь моя работа состоит в том, чтобы развивать этот проект дальше.
Весь май мы проводили исследования, приглашали в офис глухих людей. Сначала мы общались так, как у это у них принято: мы записывали свои слова на бумаге или они считывали нашу речь с губ. Спустя некоторое время решили воспользоваться нашим прототипом и ускорили общение в 2-3 раза. Проводя исследования, мы подмечали в чем есть особо сильная потребность. Например, хранить историю диалогов и сделать список готовых фраз для быстрого общения. В июне начали разработку новой версии, и 31 августа вышел релиз.
Какие дальнейшие планы?
Нам часто задают вопрос будем ли мы делать приложение для iOS. Ответ на него зависит от количества пользователей. Среди глухих и слабослышащих около 75% пользуется Android, поэтому сперва сделали приложение для этой ОС. Посмотрим, посчитаем, и если многим людям нужно будет приложение для iOS – сделаем
Второе направление — развитие функций приложения. Сейчас оно позволяет поговорить с человеком, который находится рядом, но у слабослышащих также есть проблемы с тем, чтобы поговорить по телефону. Кроме того, у глухих людей зачастую есть трудности с собственной речью (она может быть искажена, или люди просто стесняются). Все это тоже можно решить при помощи приложения, переводя голос собеседника в текст, чтобы дать людям с потерей слуха возможность общаться и на расстоянии. Кроме того, технология Yandex SpeechKit не стоит на месте и вместе с развитием ее функциональности будет развиваться и наше приложение.
Группа приложения ВКонтакте.
Приложение в Google Play.