人工聴覚（Cochlear implant）は，内耳の感覚細胞が働かない場合に，音声波を電気信号に変換して，内耳に埋め込んだ電極を通して聴覚神経に伝える方式である．近年はアジア諸国にも急速に普及しているが，アジアの言語では，日本語の単語アクセントや中国語の声調のように，声の高さの変化が特別な役割をもっている．そこで，それぞれの使用者の声の高さの弁別能力を精密に検査して，これを最大限に活用できるように有効な訓練をする必要がある．このために，合成音声を刺激に利用し，CAI (Computer Assisted Instruction) の機能を組み込んだシステムを開発した． 　このCAIシステムは，教師用のパーソナルコンピュータに，被験者用のスピーカとタッチスクリンを接続しており，ソフトウエアは，刺激の作成，刺激の割り当て表の編集，刺激の提示と応答，次の最適な刺激の選択の段階から構成されている．　刺激としては，弁別するべき元の自然音声サンプルの対の音響分析的な特徴を内挿または外挿して，対立の程度を任意に調節した合成音声サンプルを，分析－合成プログラム（ATRで開発されたSTRAIGHT）を使って作成しておく．　訓練の過程では，声の高さの変化の違いを把握する手がかりとして，その音波の波形やピッチパタンを，聴覚的な刺激の提示と同時に，ディスプレイ画面で視覚的に確かめることもできる．被験者の応答は，口頭や筆記に加えて，とくに幼児では，タッチスクリンに表示された候補となるピッチパタンか絵か文字を，指差すこともできる．これらの被験者の応答の履歴を解析して，次の刺激として応答の難しさの程度が最適な音声サンプルを，自動的に選び出す．これによって，精確な測定結果を得るまで，あるいは意図した訓練の目標へ到達するまでの，刺激の提示の回数が最少になるようにしてある． このようなCAIシステムを有効に利用するならば，現行の人工聴覚の性能でも，必要とする声の高さの弁別能力を獲得できるものと期待している．

　表面電極筋電図からパルス密度復調処理法によって上肢・下肢の動きの運動指令を推定する可能性を検討した。それぞれの筋の収縮の程度の時間的な変化を制御するような運動指令が、中枢で意識されて、神経線維を通して筋に伝えられる。１本の神経線維は振幅と時間幅が一定のパルスを間歇的にしか伝えることができないが、多数が束になって筋にこの運動指令を伝える。筋では、神経線維につながる筋繊維群が、パルスを受けて収縮することによって、全体としての収縮の程度が中枢で意識されたように変化する。運動指令は、大脳では始めはオンオフパタンであるが、神経線維へのパルスの発生やシナプスでの中継などの閾値のばらつきのために、伝達の過程でくずれてアナログパタンになる。　このように、ある筋への運動指令は神経線維の束の全部にまたがるパルス密度変調によって伝えられているから、これらのパルスが筋繊維に伝わるのを観測する筋電図を、パルス密度復調することによって、神経指令のアナログパタンを検出し、これからオンオフパタンを推定する。このためには、ある筋へ伝わるできるだけ多くの神経線維のパルスを記録できるように、電極の構造と配置を選んだ。また、それぞれの神経線維が筋に達する終板の位置と電極との距離の差によって、筋電図のパルスの振幅の差が生じるのを、できるだけ小さなものまで補正して整形した。走る動作の下脚の筋について、このようなパルス密度復調処理法を電子計算機プログラムで実行して、運動指令のアナログパタンを検出し、伝達の過程を逆算して始めのオンオフパタンを推定した。とくに、中枢からの運動指令と筋からの反射による成分とを分離して、関与する筋の相互の働きを解析するのに、筋電図のこのような処理法によって得られた精密な情報が、非常に役立つことが確かめられた。

　読唇だけでなく、手話による対話や音声による対話で各種の言語的な情報を伝える口の形の変化もすべて表記できるような、多目的の記号体系を、口形の変化についての解剖的構造や神経制御の制約と、視覚的な識別の可能性との両面を考慮して作成した。　唇の３次元的な形状を指定して、再合成できるようにするためには、それらを、開口部の上下方向の高さと、側方向の幅と、中央と隅の前後方向の奥行きとの、４種類の尺度で記述した。次に、そのような尺度で構成された３次元的な空間を、視覚的な識別が可能な領域に分割した。　音声に伴う唇の形状の変化を表記の枠組みに使い、日本語の母音の「エ」を基準状態としているが、伝統的な手話で構文的な情報を補う口形の変化や、音声による対話で意味的な情報を強調する口形の変化には、それぞれの尺度について、１段階広い領域を設けてある。　この表記記号体系によって指定された口形の変化を、上下の唇の内側と外側の３次元的な輪郭の変化に関与するパラメータを組み込んだモデルを計算機シュミレーションして、画像として任意の視点から表示することができる。

発話に伴う口形の変化から音声情報を視覚的に感知する読話（読唇）は、聴覚に障害がある場合だけでなく、通常の会話でも、顔の表情も含めた音声情報の総合的な把握のために重要な役割を持っており、近年、国際的にもその特性への関心が高まってきた。この研究では、口形によって伝えられる情報の量と、言語によるその違いを推定する方策を提案した。　まず、基本語彙の集合（たとえば2､000語の）は、言語が違っても相互に、同じ量の言語的な情報を含んでいるという前提をおく。この基本語彙の集合を表現するためん、母音の数や、子音の数や、音節の構成や、単語の構成などの各段落の間で、それぞれの言語に特有の相補関係がある。母音の数が少ない言語では、子音が多く使われるとか、音節の数が少ない言語では、音節を繰り返し使って単語を構成する。　ところが、この相補関係によって、基本語彙の集合の情報の量が同じでも、読話の情報の量に言語の相互で違いが生じる。それは、この相補関係の各段階での口形の情報の寄与が、言語によって違うからである。　この各段階での情報の量を推定するために、記号に種類が、母音から母音の口形素へ、子音から子音の口形素へ減少することによる情報の減少を計算する。これらをエントロピー（ビット）の減少で表わす。単語の構成の段階では、同音語による情報の減少も計算する。ひとつの言語で各段階での口形の情報の減少の量を加え合わせることによって、基本語彙の集合のもつ同じ量の情報からの減少として、他の言語との相互の違いを推定することができる。　推定をより正確にするためには、各言語単位の出現頻度や遷移確率の統計データを使う必要があり、これには、電子辞書を利用できる。日本語と英語を例にとって、相互の読話の情報量の違いを推定してある。日本では、同音語が異常に多いことの不利な影響も考慮してある。研究成果の発表1998.12.　Proceedings, Australian Conference on Auditory-Visual Speech Processing (AVSP '98), Sydney, Australia, 1998.

　音声の発話に伴って唇が動いて口形が変化するが、これから音韻を視覚を通して推定する読唇（音声言語を理解するという広い意味で読話）は、聴覚に障害がある場合だけでなく、通常の音声の聴取の場面でも無意識に活用されていて、音声言語の情報の伝達に重要な役割をもっている。　しかし、この口形の変化には、音声言語の情報の一部分だけしか表れないので、言語によって音韻体系が違うと、音韻の種類の推定の可能性が違ってくるし、言語の統計的な性質が違うと、音声言語の理解の可能性が違ってくる。さらに、これらの可能性は、言語の種々なレベルでの文脈にも大きく依存している。　そこでこの研究では、このような口形の変化で伝えられる音声言語の情報の、とくに文脈依存性について、次の2つの面から解析した。　1. 先行または後続する音韻の影響による口形の変化の修正規則　先行または後続する音韻の影響によって、口形の変化が修正される現象を、口形の記号表記にもとづいて、どの言語にも適用できるような普遍的な規則の組合せとして導出した。　2. 日本語の同音語の影響による読唇の情報量の減少　同口形異音語に加えて、日本語では同音語（したがって同口形語）が異常に多く、これが読唇の情報量の減少に影響していることを、他の言語との比較のための資料として定量的に算出た。　日本語の語彙の約35％は、同音語の組合せを持っている。1つの組合せの平均語数は2.9語であるが、口形記号の一つの連がりが多数の同音語を持っている場合も多い。2音節の口形記号の連がりが、100以上の同口形語を持っていて、そのうちの1/3位が高頻度で使われているものもある。日本語の同音語のために、語彙のエントロピは、平均では各単語当たり0.54bits減少する。この数値は、平均単語長が3～4音節であり、子音の口形記号のエントロピが、各記号当たり2.57bitsでしかないことを考慮すると、かなり大きな影響をもつことになる。