Интернет: новые возможности и перспективы – людям!

Всероссийский Фестиваль интернет-проектов

«Новая Реальность»
 
 
 
 
 
 
 

График проведения Фестиваля

25 ноября 2008
Москва
Церемония вручения Премии Рунета 2008
23 декабря 2008
Москва
Итоги 2008 года
1-4 апреля 2009
Москва
Российский интернет-форум

Слуховая кора избирательно слышит то, к чему мы прислушиваемся

Люди способны слушать и понимать друг друга даже в компании, где все говорят одновременно. Как мозг выделяет из сложного акустического фона нужные звуки, неизвестно. Американские нейробиологи, работая с пациентами, которым в ходе лечения эпилепсии были вживлены электроды в верхнюю височную извилину, обнаружили, что активность нейронов вторичной слуховой коры отражает речь того человека, к которому испытуемый прислушивается. По активности этих нейронов специально обученная компьютерная программа может определить, кого из двух говорящих слушает испытуемый, и восстановить услышанные слова.

Выделить из многоголосого хора речь одного конкретного человека — технически крайне сложная задача, о чем хорошо известно разработчикам автоматических систем распознавания речи. Наш мозг, правда, легко справляется с ней, но как ему это удается — толком неизвестно. Можно предположить, что на каком-то этапе обработки слуховой информации речь человека, к которому мы прислушиваемся, очищается от «посторонних примесей», но когда и где это происходит, опять-таки неясно.

Нима Месгарани (Nima Mesgarani) и Эдвард Чанг (Edward Chang) из Калифорнийского университета в Сан-Франциско исследовали работу нейронов вторичной слуховой коры (рис. 1) у трех пациентов, страдающих эпилепсией, которым в ходе подготовки к операции были вживлены микроэлектроды в верхнюю височную извилину (рис. 2).
 

Рис. 2. Расположение электродов на мозге испытуемых. Оттенки красного показывают, насколько различается сигнал от электрода при восприятии речи и в тишине. Изображение из обсуждаемой статьи в Nature

Ранее было показано, что нейроны вторичной слуховой коры «кодируют» (отражают) воспринимаемую человеком устную речь. Разработаны компьютерные программы, которые после специального обучения способны по данным об активности этих нейронов реконструировать тембр голоса говорящего и даже распознать произносимые слова (Formisano et al., 2008. “Who” is saying “what”? Brain-based decoding of human voice and speech; Pasley et al., 2012. Reconstructing Speech from Human Auditory Cortex). Но эти эксперименты проводились на испытуемых, которым давали слушать речь только одного говорящего. Месгарани и Чанг решили выяснить, какую информацию отразят нейроны слуховой коры, если говорящих будет двое, но испытуемого попросят слушать только одного из них.

В экспериментах использовались записи двух голосов — мужского и женского. Они произносили бессмысленные фразы из семи слов, например такие: «ready tiger go to red two now» или «ready ringo go to green five now». Первое, третье, четвертое и седьмое слова всегда были одни и те же. Второе слово — tiger или ringo — служило для испытуемого условным сигналом. На экране перед ним высвечивалось одно из этих слов, и нужно было прислушиваться к тому из двух говорящих, кто произнесет это слово. На пятом месте стояло слово, обозначающее один из трех цветов (red, blue или green), на шестом — одно из трех числительных (two, five или seven). Испытуемый должен был ответить, какое число и какой цвет назвал тот из двух говорящих, кто произнес ключевое слово. Фразы комбинировались таким образом, чтобы два голоса одновременно называли разные числа и цвета.

Авторы использовали разработанную ранее программу для реконструкции звукового сигнала по данным об активности нейронов слуховой коры. Программу предварительно «обучали», причем в ходе обучения испытуемым давали слушать голоса по одному, а не оба одновременно. Когда программа научилась хорошо реконструировать спектрограммы одиночных фраз, началась основная фаза эксперимента. Теперь испытуемые слушали одновременно два голоса, а спектрограммы, реконструированные программой по данным об активности нейронов, сравнивались с реальными спектрограммами фраз, произносимых двумя ораторами.

Оказалось, что в тех случаях, когда испытуемый успешно справился с заданием (то есть правильно назвал цвет и число, произнесенные тем голосом, который сказал ключевое слово), восстановленная по его нейронам спектрограмма отражала речь только одного из двух ораторов — того, кого надо было слушать (рис. 3). Если же испытуемый ошибался, восстановленная спектрограмма не была похожа на речь «правильного» оратора, а отражала либо неразборчивую смесь, либо коррелировала со спектрограммой второго, «отвлекающего» оратора. Как правило, в первом случае испытуемый не мог правильно воспроизвести слова ни одного из двух ораторов, а во втором он указывал число и цвет, названные «отвлекающим» голосом.

Источник: http://elementy.ru/

 

Организаторы:

Информационные партнеры:

Обратная связь © 2010 - РА "Позитив". При использовании материалов ссылка на www.novreal.ru обязательна.