News Scan

話したことを目で聞いて〜2008年1月号臨時増刊 こころのサイエンス03号

唇の動きを読むだけで声が聞こえる?

 

 聞き慣れた人の声なら,その人が言っている内容も聞き取りやすい。さらに,音声を伴わない唇の動きを見慣れるだけでも同じ効果があることが,最近の研究で示された。

 

 カリフォルニア大学リバーサイド校の研究チームが被験者60人に,人が話している様子を撮影した音声なしのビデオを見せ,唇の動きから何を言っているのかを読み取ってもらった。続いて今度は雑音のなかで話している音声テープを聴かせ,できるだけ多くの単語を聞き取ってもらう。半数の被験者には,ビデオに登場したのと同じ人が話している音声テープを,残る半数にはビデオとは別人が話しているのを聴かせた。すると,無声ビデオと音声テープが同一人物だった被験者のほうが,聞こえにくい音声テープの単語をよく聞き取れた。

 

 この結果は,私たちが誰かの唇の動かし方を知ると,脳はそれをその人の声についての知識に転換できることを示している。それも「当人の声を聞いたことが実際にはまったくなくても可能なのだ」と,研究チームを率いたローレンス・ローゼンブラムはいう。

 

 視覚刺激が音声認識に重要な役割を果たすことは以前から知られてきたが,脳がこれら2つの刺激をどう融合しているのかは依然として謎だ。聴覚皮質が音声だけでなく,会話情報の視覚的な処理にも関与していることを示した脳画像研究もいくつかある。

 

 しかし,脳は音声と唇の動きだけをもとに言葉を認識しているのではない。私たちが抱く「予見」も影響する。例えば話し手のアイデンティティー(社会的立場や民族的背景など)を聞き手がどうとらえているかによって,そのスピーチが異なって聞こえることが多くの研究から示されていると,シカゴ大学のハワード・ナスバウムはいう。「こうした予見は聴覚的な手がかりと同じくらい強力に作用する場合がある」。

サイト内の関連記事を読む