От подробных голосовых подсказок в Maps до предстоящей функции Live Caption в Android 10 — у Google есть множество функций для улучшения доступности. Последняя разработка в Chrome позволяет автоматически создавать описания для изображений в интернете, у которых отсутствуют идентифицирующие подписи.
Люди с нарушениями зрения используют программы чтения с экрана, чтобы получать звуковую обратную связь или вывод шрифтом Брайля при чтении в интернете. Хотя наблюдается возросшее стремление к тому, чтобы сайты помечали изображения, в интернете по-прежнему много картинок без альтернативного текста. В результате программы чтения с экрана, такие как ChromeVox, просто произносят «изображение», «необозначенная графика» или название файла.
Новое решение Chrome отправляет изображения без подписей на серверы Google. Несколько моделей машинного обучения, включая те, которые ищут текст, идентифицируют объекты и улавливают основную идею, анализируют фотографию.
Некоторые модели ищут текст на изображении, включая вывески, надписи и рукописные слова. Другие модели ищут объекты, которые они научились распознавать — например, карандаш, дерево, человека в деловом костюме или вертолет. Самая сложная модель может описать основную идею изображения, используя полное предложение.
Результаты ранжируются, и Google возвращает только полезные и описательные аннотации. В большинстве случаев пользователю программы чтения с экрана будет предоставлен самый простой ответ. Если модели машинного обучения не могут точно и уверенно определить изображение, будет возвращено сообщение «Описание недоступно».
Описания изображений, автоматически сгенерированные компьютером, не так хороши, как те, что написаны человеком, который может включить дополнительный контекст, но они могут быть точными и полезными.
Эта функция «Получать описания изображений от Google» тестировалась в течение последних нескольких месяцев, и компания создала 10 миллионов описаний, добавляя сотни тысяч ежедневно. Полные инструкции по включению описаний изображений в Chrome доступны здесь.