Новое исследование показывает, что Apple изучает, как HomePod или другие устройства могут использовать звук для оценки расстояния до говорящего пользователя, а также для определения звуков вокруг него..
Apple HomePod уже очень хорошо слышит ваш голос, даже когда он громко проигрывает музыку. Две отдельные новые патентные заявки показывают, что Apple хочет улучшить это и вывести способность устройств слушать на новый уровень..
Один из них, «Оценка расстояния на основе обучения», касается использования звука не только для распознавания пользователя, но и для определения его местонахождения..
«Часто бывает желательно, чтобы устройство оценивало расстояние от устройства до пользователя, используя [его] компактную микрофонную решетку», — говорится в заявке на патент. «Например, устройство может регулировать громкость воспроизведения или реакцию интеллектуального вспомогательного устройства на основе предполагаемого расстояния пользователя от устройства».
«[Так], если пользователь находится очень близко к устройству, музыка или речь не будут воспроизводиться на большой громкости», — продолжает он. «В качестве альтернативы, если пользователь находится далеко, воспроизведение мультимедиа или ответ устройства интеллектуального помощника можно настроить на более высокий уровень громкости».
Эта же идея также предназначена для использования в впечатляющей на данный момент, но несколько несовершенной системе Apple, где все ваши устройства пытаются определить, кому вы сказали «Привет, Siri»..
«В приложениях, где есть несколько устройств, — говорит Apple, — устройства могут координировать свои действия или проводить арбитраж между собой, чтобы решить, какое из них должно отвечать на запрос, исходя из расстояния от каждого устройства до пользователя».
Apple предлагает как простые, так и более сложные решения, которые можно использовать совместно. Самый простой — заставить устройство делать то же, что и HomePod, и сначала составлять карту своего окружения..
Тогда он фактически имеет «сетку измеренных или смоделированных точек в акустической среде». В этом случае звук можно сравнить с этой «сеткой», чтобы приблизительно определить, где находится говорящий..
Однако Apple не считает, что это достаточно хорошо, а также говорит, что это наименее полезно с Siri. Это потому, что человек может двигаться, когда говорит, а также потому, что он требует быстрого ответа — для чего это предложение не подходит..
В качестве альтернативы, тогда, «если имеется по крайней мере две решетки микрофонов», тогда «расстояние до источника голоса может быть оценено с использованием метода триангуляции».
Однако ключевым моментом здесь является необходимость как минимум двух устройств с микрофонами. Следовательно, у Apple есть другое, более сложное решение, которое включает в себя «систему, основанную на обучении, такую как глубокая нейронная сеть (DNN)», и не требует наличия нескольких устройств..
«Система глубокого обучения может оценивать расстояние до источника речи в каждом временном кадре на основе речевых сигналов, принимаемых компактным массивом микрофонов», — говорится в заявке на патент..
Эта система DNN может определять, что такое речь, а что — фоновый шум. Затем он может вычислить «информацию о прямом распространении сигнала», а также «эффект реверберации и шум».
Это приложение принадлежит трем изобретателям, в том числе Мехрезу Содену и Джошуа Д. Аткинсу. Их предыдущая связанная работа включает выданные патенты на то, как записывать полный пространственный звук с использованием меньшего, чем у обычных микрофонов.
Это особенно касается звука в Apple AR, где эта последняя заявка на патент касается физических устройств в реальных средах. Однако, если кажется, что пойти на это очень сложно, чтобы не оторвать кому-то уши слишком громким HomePod mini, есть еще кое-что..
«Например, вспомогательные и дополнительные слуховые устройства, такие как слуховые аппараты, могут усиливать аудиосигналы в зависимости от расстояния до источника голоса», — говорится в заявке на патент..
Именно на этом и сосредоточена вторая недавно обнаруженная патентная заявка..
Определение важных звуков
«Системы и методы определения источника звука на основе наблюдаемого звука» — это то, что одни устройства распознают звуки других и реагируют на них за нас..
«Многие бытовые приборы, такие как, например, микроволновые печи, стиральные, посудомоечные машины и дверные звонки, издают звуки, чтобы предупредить пользователя о том, что состояние прибора изменилось», — начинается заявка на патент..
«Однако пользователи могут не слышать звуковой сигнал, издаваемый бытовой техникой, по любой из множества причин», — продолжает он. «Например, у пользователя может быть нарушение слуха, пользователь может находиться на улице или в другой комнате, или устройство может издавать звук, заглушенный домашней акустической сценой».
Это также не должно быть срабатыванием таймера для яиц. Этот патент в равной степени касается звуков в «общественных местах (правительственные здания), полуобщественных пространствах (офисные холлы) и частных помещениях (жилых или офисных зданиях)».
«[У них] также есть акустические сцены, которые могут содержать звуки, несущие информацию», — говорится в сообщении. «Например, звонок, перезвон или зуммер могут указывать на то, что дверь была открыта или закрыта, или сигнализация может издавать сирену или другой звук, предупреждающий окружающих об опасности (например, дым, пожар или угарный газ)».
В целом, эта патентная заявка в основном описывает методы, с помощью которых устройство можно «обучить» распознавать «часто встречающиеся звуки». Затем он будет продолжать прислушиваться к любому из них, и когда он услышит один, может выдать «выбранный выходной сигнал, реагирующий на определение присутствия звука в акустической сцене».
Другими словами, если у вас срабатывает таймер яиц, возможно, устройство сможет заставить ваши Apple Watch нажимать вас на запястье. Или, если это охранная сигнализация, то же устройство может уведомить власти.
«Звук несет в себе большой объем контекстной информации», — говорит Apple. «Распознавание часто встречающихся звуков может позволить электронным устройствам адаптировать свое поведение или предоставлять услуги, реагирующие на наблюдаемый контекст (например, определяемый по наблюдаемому звуку), повышая их актуальность и ценность для пользователей, требуя при этом меньшей помощи или ввода от пользователей».
Эта вторая заявка на патент принадлежит четырем изобретателям, включая Дэниела К. Клингера. Его предыдущая работа включает патентную заявку на безопасные телефонные звонки через HomePod или другие устройства..
