(1) We proposed a new mutual information criterion for deciding an optimal mixture distribution and an optimal threshold. (2) We proposed the usage of Renyi's alpha-entropy as a measure of width of marginal distribution and obtained very intuitive new and simple ICA methods. (3) We proposed an adaptive method for smoothing the periodogram for positive time-frequency representation. For impulse train time-frequency analysis, we proposed an inverse domain demodulation method of IPFM and an objective evaluation method for demodulators. Further, we proposed distance estimation method exploiting time-frequency feature of reflected signal from a moving object.

The purpose of this research task aims at applying the concept of the smart structures and materials system to the material for robot structure. The subjects are the evaluation of a sensor function, the establishment of a fabrication method about carbon nanotube (CNT) composite material, the evaluation of the mechanical and electrical characteristics and the exemplification of an application. The contents enforced concretely are three points of the next.
1. The trial production of the CNT composite material and characteristic evaluation
The trial production of the CNT composite material was done with the aim of the realization of the structure material which has a sensor character. It can be handled as a change in resistivity because it is bent by dispersing CNT around PVDF and a distance changes between CNT's which dispersed around the base material against the strain such as deformation. A response against the strain didn't reach it as a result of doing sensor characteristic evaluation to get a practical level about that reappearance and the correlation though it was seen.
2. The improvement of the method of bolt loosening detection for bolted joint Improvement of the method of a bolt loosening detection technique by the smart washer was examined due to apply the fault detection problem in 2 link robot arm. Comparing with the conventional method, the supervisor by the multiple observer succeeded in the improvement of the bolt loosening detection precision.
3. The exemplification of an application It tried the application of the bolt loosening detection to a fixed part in the experimental 2 link robot arm manufactured as an experiment to show the advantage of the smart structure system. Though feasibility could be shown from a result of numerical calculation, it couldn't get an expected result from a result of an experiment.

In this project, results include increasing the number of feature points of wireframe model, extension of three dimensional wireframe model, improvements of motion data of facial expression, eye-blinking detection using a high-speed camera., several integrated texture images for a single facial part, slow-motion video of facial animation, kansei evaluation between synthesis of facial images and real facial images.
For the eye-blinking detection using a high-speed camera, a motion pattern during eye-blinking interval is characteristic. Detection of the motion pattern is robust.
For high definition, there are two items of special resolution and time resolution. For special resolution, a high-definition camera of 1280x720 progressive is introduced for eye region texture. For time resolution, a system of a high-speed camera is constructed using low-cost consumer video cameras to get 60-90 frames per second for eye-blinking motion. This process produces slow-motion playout for eye-blinking.
Kansei evaluation is performed for two facial images of synthesized ones and really captured ones.

One of the purposes of dental treatments is achieving a well-balanced surroundings of lips. A position of anterior teeth is closely related to the movement of lips and the surroundings. For example,in case of subjects with maxillary teeth protrusion, strong tension of upper lip is necessary for closing even if it is loose in relax. Mandibular teeth protrusion is also different from normal and maxillary teeth protrusion subjects. However, it is quite difficult to determine the treatment results regarding facial expression. The first, we introduced a precise and efficient three-dimensional measurement system using two high speed cameras to analyze facial expression. Facial actions were analyzed by tracking 6 markers on the face. Results were as follows.
'Chi'-smile was almost similar to natural smile which showed a characteristic patterns with some variations. On the other hand, forced smile showed different patterns from the other two smiles. Facial expression of smile is somewhat difficult without emotion. Therefore, it is considered that chi-smile in addition to natural smile can be used in studies of facial expressions.
As the relationship between overjet of anterior teeth and a facial action by method of setting wax on anterior teeth of normal occlusion, the results suggested, that a position of anterior teeth strongly influenced the movement of lips and the surroundings.
We also introduced a three dimensional display program of facial action. This visualizing system will contribute a communication tool between the dentists and patients.

Three-dimensional visualization of human head has been frequently utilized for diagnosis and treatment of cranio-facial deformities in medical and denal area. Computed tomography can supply three dimensional image (3D-CT) ), but it needs large X-ray exposure. The present study aimed to construct individual 3D head model using ordinal head X-ray, facial photograph and dental cast.
Computed tomography of the head and dental cast were taken from volunteers of adult males (11 subjects) and females (10 subjects). Three-dimensional coordinates of selected anatomical landmarks on the soft and hard tissue on 3D-CT images ware calculated and their averages were computed for both groups. The corresponding landmarks on ready-made head model (Viewpont, Co. Ltd, USA) were fitted to these mean coordinates. Thus, the standard Japanese adult male/female head models were obtained. To represent an individual model, we introduce a model-based construction method using photogrammetric shape extraction from X-ray and facial images of patient in order to modify standard facial/skeletal models. The dental shape is also modified by digitizing dental cast. This new method is possible to reproduce three dimensional integrated model on a personal computer and view the structure from any desired angle.
As a clinical applications, this new method was employed to perform computer simulation for patients with mandibular prognathism who underwent saggital splitting ramus osteotomy. The simulated postoperative skeletal/facial images ware similar to the actual ones obtained after surgery. It will provide easy-to-understand information about treatment to the patients.

In the final year of this project, aside from the independent studies we also combined some of the research results into integrated systems. The major research results are shown as follows.
1.Software Research
Development of en environment recognition method and a face extraction method from arbitrary scene that could be mounted on mobile robots moving in human-living environment. A number of experiments in real world environment were executed to verify the methods.
Development of microphone array system for sound focusing and sound separation. A number of experiments were done to confirm the effectiveness of the methods.
Development of robot control based on the human-evaluation oriented training mechanism. We executed a number of experiments using humanoid robots to confirm the effectiveness of the proposed method.
2.Mechanical Research
Development of physical robot head that is able to show natural gesture and emotional expression. Our experiments show hat the robot is able to intuitively communicate with human.
Development of bipedal robot, based on the parallel link mechanism that is able to transport human in daily life environment. The experiments on unregulated environment verify the effectiveness of the system.
Development of robot arms system with integrated visual mechanism tot enable the system to make a flexible adaptation into human living environment The experiments in human daily living environment and daily cores show the effectiveness of the system.
2.Integrated System
Development of humanoid type bipedal robot WABIAN-2, which is able to generate actions that are similar to that of humans.
Development of robot iSHA to be used as a plat form of various human-machine interface studies.
Development of multimodal communication robot ROBISUKE that integrate audio and visual processing system to realize multimodal interaction.

Until now, several research institutes and university have tried a face recognition and face image synthesis schemes and they just have come to produce a commercial product. However, most of the elemental technologies are realized about case by case requirement and they don't have a common interface with other technologies and extension function. In this background, our project tried to realize to construct a common software system about face image processing with generalized hierarchical function. The major element of this software system is composed of a common face processing library which can treat both face recognition and face synthesis. In the face recognition system, an extraction and parameterization of face and face parts, tracking of face in video sequence, basic tool for person identification and expression recognition are included. And also API is produced to make generalization of system. In the face image synthesis system, 3D model and facial expression rule to generate a natural and real face image and animation are constructed. A generic face model is modified to be fitted automatically to face frontal picture based on feature points extraction result by face recognition system to make customization of face model. One new point of our research is a combination of each algorithm produced independently by several research institutes to make generalization of system. A major improvement of animation quality of facial expression is second point. As an interaction technology, a treatment of emotion condition and communication through narrow band network is also considered, and common markup language to realize a communication on WEB page is also proposed as a new result. By psychological analysis, facial expression animation rule on time scale is exactly treated.

The purpose of this research is to develop the multimodal communication system which can recognize multimodal Information such as speech and gesture on natural dialog, understand the intention of human by the integration of them, and respond to human appropriately.
First of all, it is necessary to clarify the structure of understanding of human intention by the integration of multimodal information and response by multiple modalities. Therefore we have analyzed the acoustic features of speech such as fillers and the roles of gestures such as head movement on the various natural human dialogues.
Then we have made studies of speech and gesture recognition algorithm that is fundamental technique for multimodal communication system. We suggest a recombination strategy for multi-band automatic speech recognition which gives more accurate recognition, especially in noisy acoustic environments. And we propose a speech decoder in which the language models are modified to deal with timing of the turn taking and the speaker models are also utilized. We apply a new pattern matching method, Partly-Hidden Markov model, in which the first state is hidden and the second one is observable, to gesture recognition. And we propose the face extraction and the pose detection method to recognize the head movement.
Finally, we have implemented multimodal communication model to the human-machine dialogue system. This system uses a method of generalization considering trade-off between variety of dialogue and easiness to describes rules and provides a domain independent platform. Also, it has a spoken dialogue control model for improvement of dialogue efficiency and a dialogue management model for detection of misunderstanding in spoken dialogue system.

本研究では、当初の計画に従って下記のような研究を実施した。
1 コンピュータによる顔の感性情報処理の体系化
各班員は、それぞれに従来より顔の感性情報処理の技術開発に携わってきた。そこで、各班員がこれまでに開発してきた技術を開示し合うとともに、さらに他の研究者が開発している技術の動向を調査した。次いで、各技術を整理・統合し、特に顔画像の認識系、合成系の観点から、各技術の位置づけや関連性が他分野の研究者にも把握できるような体系化を試みた。
2 様々な学問領域における「顔」関連の研究方法の調査
各班員は、それぞれに異なる分野で従来より顔関連の研究に携わってきた。ここではそうした各班員のこれまでの研究員の蓄積を生かしながら、まず各自の専門領域ならびに近接領域での「顔」に関連する研究での方法論を調査した。次いで、学問領域の枠を取り外し、顔関連研究の方法論の整理を試みた。また、調査された研究の理論および方法論を整理した「顔学」研究のデータベースの作成も試みた。
3 顔学研究への顔の感性情報処理技術の適用可能性と問題点の検討
感性情報処理に関する調査と顔学研究の調査を基に、様々な「顔」研究における現在の感性情報処理技術の適用可能性と、それに基づく新たな共同研究の可能性、さらに、新たな技術開発が求められるとすれば、それは何かについての検討を行った。
以上の研究を踏まえ、最終的に特定領域申請に向けた全体計画の取り纏めを行い、報告書の作成を行った。このように、本研究では、当初計画した研究の目的を予定通り達成することができたと考えられる。

本年度は、本計画の最終年度である。前年度末に試作した2体のヒューマノイド型ロボットをプラットホームとして、以下のような研究を行い、全員で統合システムとしての取りまとめを行なった。
1)環境モデルと実画像の対応付けによる自己位置認識システムの精度向上を図るとともに、環境変化に応じたモデル変更の方式を検討し試作ロボットでの確認を行なった。
2)音声と画像を手がかりとしたシーン中での対話相手の検出、およびカラー画像とロボット視覚系を用いた人間の顔表情とジェスチャー認識の実験を行なった。
3)連続音声認識の精度向上を図ると共に、並列処理系による高速化を試み、ジェスチャー、表情を合わせた、人間型ロボットによるマルチモーダル対話の実験に成功した。
4)試作ロボットをネットワークに接続し、遠隔地からの相互制御の実験を行い、情報ネットワークにおけるインターフェース端末としてロボットを使用する可能性を検討した。
5)完成した2足歩行系の自由度を増やし、方向変化等をより自在にできるようにすると共に、頭部、腕部などとの協調制御方式を検討し、実験的に検証した。
6)コンプライアンス制御による柔軟な腕機構の制御方式を改良すると共に、人間との共同作業とジェスチャー生成を行う安全な腕として、外装を含めた総合的な設計基準を検討した。

本研究は、参加して楽しむことのできる音楽的仮想世界の生成と演出の技術を確立することを目的としている。今年度の研究成果の概要は以下の通りである。
1.2個の3次元加速度センサとデータグローブにより、手および腕の動作情報を取得し、ジェスチャーを認識して、音楽演奏を実時間で制御する次の2種類のシステムが完成した。
a)仮想指揮システム(ジェスチャーによる演奏制御):楽曲のデータをあらかじめ計算機に登録しておき、指揮のルールに基づいて演奏を制御するシステムである。これにより、使用者はあたかもオ-ケストラを指揮しているような仮想的な現実感が得られる。
b)仮想楽器システム(ジェスチャーによる楽音生成):ジェスチャーと音響出力の関係を使用者が任意に定義できる"動作-音響 変換器"の実現を目指すものである。製作システムでは、音源波形として、身体運動波形を用い、種々のフィルタリングが実時間で制御できる。
2.動画像からシーンの特徴パラメータを抽出して自動作曲システムと結び付けることにより、実時間でバックグランドミュージックを生成する実験に成功した。このシステムは、通常のパーソナルコンピュータに画像キャプチャボードを取り付けるだけで、その他はすべてソフトウエアのみで実現できる。
3.歌声のピッチおよび母音の実時間認識を行い、楽譜と照合することにより、歌唱のテンポを推定し、自動的に追従する自動伴奏を生成することに成功した。さらに、歌い手の個人的な声特徴を保存したまま、歌の音程を補正する歌声の実時間分析合成手法を検討し、実験により動作を確認した。
4.音響をキ-として、音色データベースを検索するシステムを製作し、有効性を実験により確認した。このシステムは、音響データの時間的および周波数的特徴を抽出して、検索キ-として与える音響と比較するものであり、非言語的なデータベースとして、音楽の生成や音響的演出の効率化を目指すものである。
最終年度には、これらの成果を統合した音楽のための仮想空間を実現して、技術面ばかりでなく芸術的な面からの評価も試みる予定である。

本年度は、次のような研究を行なった。
1.仮想共鳴管による音色変換
入力された音響のスペクトル包絡を手の形で実時間で制御するために、仮想音響管をもちいた音色変換システムを構築した。システムは、マイク、データグローブユニット、スピーカ、パーソナルコンピュータから構成されている。仮想共鳴管は、10次のPARCOR合成フィルタによって・夕現されている。仮想共鳴管の断面積は、両手10指の第一、第二関節の曲げ角より実時間制御される。
2.ジェスチャーデバイス GraspMIDI
センサ部(P-Unit)には、直径30[mm]に膨らませた風船に圧力センサ(FUJIKURA FPM-15PA)が取り付けられており、風船の内圧をブリッジ回路によって測定している。このP-Unit6個をシリコンボール内に埋め込むことによってハンドジェスチャーセンシングデバイスを構成している・Bハンドジェスチャーにともなう圧力値に従ってMIDIイベントを生成し、把持動作による音楽の演奏が可能である。
3.音声認識を用いた歌声の自動伴奏
歌声と楽譜データを照合しながらテンポ追従する伴奏システムを製作した。標準の“Sound-Input-Device"で歌声をAD変換し、それに対しケプストラム法を用いリアルタイムで母音認識とピッチ検出の両方を行う。得られた母音、ピッチの情報から歌唱の位置を判定し、歌い手のテン・|を割り出し、MIDI音源により伴奏を出力することで人のテンポに合わせた伴奏が可能になる。

本研究は、通常の人工現実感のような物理的なリアリティよりも、むしろ音楽的にリアリティのある仮想空間を構築することを目的としている。
本研究の第1年度である平成7年度は、人間の動作による音楽演奏の制御、動画像からの音楽生成、歌声の信号処理について研究を行った。具体的な研究経過および成果は以下の通りである。
1.おもりの変位をピエゾ素子で検出する3軸の加速度センサを用いたジェスチャの認識手法を確立して、演奏システムの入力手段として利用するシステムを試作した。加速度センサを手先に装着して、演奏の開始、停止、継続、強度、テンポなどが実時間で自由に制御することができた。また、音源のパラメータと動作パラメータをニューラルネットワークで接続することにより、電子音源の音色をジェスチャーに応じて変化させる試みも行った。
2.動画像からRGBの色成分の平均、エッジの密度などを領域毎に実時間で抽出し、それらのフレーム間相関からシーンチェンジを検出する動画像処理系を作製するとともに、これらの画像特徴のパラメータを用いて音楽を自動作曲するアルゴリズムを考案して、任意の動画像に対して実時間で背景音楽を生成するシステムを試作した。このシステムは画像の意味内容の解釈は行わないが、ニューラルネットワークにより利用者の好みに生成音楽を合わせることができる。
3.歌声からピッチ情報と声色情報を実時間で安定に抽出する手法として、線形予測符号化方式を検討した。この手法によりピッチ情報と声色情報の分離が可能となり、声色を保存したままピッチの変更が可能となった。応用として音程はずれの自動補正を試み、従来のピッチチェンジャーによる結果と音質の比較を行った。その結果、予測区間の切り替わり点で雑音が生ずるという問題があるものの、声質保存に関しては大幅に改善できることが判った。

過去2年間の研究により、右手による指揮棒の動きおよびデータグローブにより入力される右手の動きによって、音楽演奏を制御するシステムはほぼ完成している。また、発生する音響の音色をジェスチャーのよって実時間で制御する基礎実験を終了している。
本年度の主な成果は以下のとおりである。
1.これまでに開発した音響制御システムを改良し、基本周波数、振幅、倍音の振幅、スペクトル分布などを任意に実時間で指定できる音響発生システムを作成し、ジェスチャーによりこれを制御するシステムを感性させた。
2.FM音源のパラメーターを遺伝的アルゴリズムで最適化する対話型の音色生成システムを作製し、喜び、悲しみ、怒り、嫌悪などを表す音色の音源パラメータの主成分分析を行い、2次元感性空間での関係を調べた。
3.画像処理でのジェスチャー解析を行うと共に、新たに加速度センサーを用いた手振りの自動解析を試み、指揮の動作および音楽演奏における感情表現の自動認識についての知見を得た。
4.ニューラルネットを用いて、ジェスチャーと音響の対応付けを行い、接続係数によってジェスチャーと音響の感性的な意味での変換関係の定式化を試みた。
5.作製したシステムの演奏家および作曲家による評価については、現在予備的な実験を終了し、本格的な実験を計画中である。

前年度は、ジェスチャーの認識とその結果を用いた演奏制御の基礎研究を行い、データグローブを用いて、5本の指の形状、掌の傾き、手の位置など、11個のパラメータと、ジェスチャーの意味を結び付ける関数を、数回の学習で作成し、ジェスチャーの実時間認識に成功した。また、これを用いて、既存の楽器の演奏ジェスチャーを認識して、MIDI音源を制御することにより、仮想的な楽器演奏を行うシステムを作成した。今年度は、音響/動作の間を感性的に"納得のゆく"ように結び付けるインターフェースの実現を目的とした研究を行い、以下のような結果を得た。これにより次年度に予定している研究のまとめの方向が固まった。
1.実際の運動データおよび動画像サンプルの解析によって音楽表現と身体運動の関係を解明すると共に、この結果を前年度作成したシステムに知識ベースとして持たせたジェスチャーによる音楽演奏システムを完成させた。また、これを実際に音楽家の使用に供して芸術的観点からの評価を試みた。その成果は新作の曲としてコンサートで演奏され好評を得た。
2.基本周波数、強度、スペクトル分布、エンベロープなどを任意に実時間で指定できる音響発生システムをMIDI音源とエフェクタを用いて作成し、前年度作成した身体運動解析システムと5層ニューラルネットを介して接続し学習実験を行った。この結果、使用者の納得の行く動作/音響の対応付けが行える見通しを得るとともに、中間層の出力から感性情報を抽出する可能性を見い出した。

In order to construct the face image retrieval system based on the ambiguous feature description, an automated facial feature extraction and a facial image retrieval using a neural network are investigated.
Two face images are used to extract features. One image is eyes-close scene, and the other is eye-open scene.The frame difference and the regional pattern matching technique are used for the eye detection, then the other parts of the face such as a nose and a mouth are detected. Even for the face images which are slightly shifted form each other, the eyes and the other parts of faces are successfully detected.
In the research on face image retrieval, the geometrical features of faces are measured from the face images, and the impression of faces are evaluated by the questionnaire research. Using these data, we trained the neural network to associate geo-features with the impression for the faces. The neural network is successfully trained for the impression of physical features such as position of eyes, size of mouth, and roundness of the face. Although output for some faces are different from the answers of the questionnaire for the emotional words such as "active" and "intellectual, " we can get the promising results to build the facial image retrieval system using the ambiguous feature description words.

本研究の目的は、身体運動の実時間解析結果による楽曲演奏の制御および音響発生制御のシステムを開発し、情緒的な意味で人間が満足できるジェスチャー=音響の変換を実現することである。
本年度は、ジェスチャーの認識とその結果を用いた演奏制御の基礎研究を行い、以下のような成果を得た。
1.データグローブを用いて、5本の指の曲げ形状、掌の傾き、手の位置など、11個のパラメータと、ジェスチャーの意味を結び付ける関数を、数回の学習で作成し、ジェスチャーの実時間認識を可能にすることに成功した。この認識関数の生成には統計操作を用いているため、ある程度曖昧な動作の認識もできる。
2.既存の楽器の演奏ジェスチャーを認識して、MIDI音源のパラメータを制御することにより、仮想的に楽器演奏を行うシステムを作成した。このシステムの音程・テンポの入力は楽譜データでもよいが、音声による実時間入力も可能である。また、特定の楽器を指定した場合は和音の発生制御も可能である。
3.音響=動作の間を感性的に"納得のゆく"ように結び付けるインターフェースの実現を目的とした基礎研究を行った。ここで、音響生成のパラメータとジェスチャーのパラメータの関係設定には、ニューラルネットワークを用いているため、対応に柔軟性を持たせることができた。

1993年にわが国で関催される国際計算機音楽会議ICMC1993の企画立案を目的として次の協動を行った。これにより、本組識は当初の目的を十分果たした。
1.プレICMC1993シンポジウムの開催支援。例年夏に開催される音楽情報科学研究会のシンポジウムを、プレICMC1993の名を冠し9月1日から3日、早稲田大学井深ホールにおいて、通常の論文セッションのほか音楽セッションを充実させた形で開催支援した。本番のICMC1993のための予行として、特に音楽セッションのための機材準備と設定、ホール使用等に習熟する目的を兼ねた開催であった。当シンポジウムの記録として論文、音楽両セッションの会議録を刊行した(下記資料[1]、[2])。
2.調査活動。計算機音楽の技術的、音楽的歴史と潮流を総合的に把握する目的をもって、論文部会と音楽部会を随時開催し、研究協力者の協力を得て、関連資料の収集を行ってその結果を調査報告としてとりまとめた(下記資料[3])。
3.ICMC1993プログラムの立案。ICMC1993の組織委員会に協力する形で、プログラムの原案を策定した。概要は次の通り。
(日時)1993年9月10日〜15日;(場所)早稲田大学井深ホール他;(構成)基調構演1、特別講演1、論文セッション7、コンサートセッション8、特別セッション3、チュートリアル3、パネル討論会1。
なおICMC1993の開催準備は、組織委員会のもとに論文委員会、音楽委員会を構成してそれぞれ論文および音楽の募集とその査読、審査等の作業を開始しており、その運営はほぼ順調に進んでいる。
刊行資料:[1]プレICMC1993論文セッション会議録。[2]同音楽セッション会議録。[3]調査報告「音楽情報処理の技術的基盤」。

外部環境に応答して膨潤・収縮変化する刺激応答性ゲルは, 基礎から応用まで数多くの研究が推進されている．例えば，マイクロ流体素子，細胞の接着制御，アクチュエータなどが挙げられる．一方，近年では電気的な刺激に応答する高分子が盛んに研究され，アクチュエータやデバイスへの応用展開が行われている．特にIPMC(Ionic Polymer Metal Composite)を用いた アクチュエータは小型デバイス化に成功し，既に商品化されている．しかしながら，刺激応答性高分子からなるアクチュエータを駆動するためには，温度や電場などの刺激を制御する何らかの外部装置や電気回路が必要となる．一方生命体は，生体内部で起こる多段かつ並行的な多数の生化学反応を巧みに利用することで，自律的な情報処理やアクチュエーションを行う非平衡開放系の分子システムである．もし，このような生命体の優れた分子システムを人工的に合成することが可能になれば，従来とは全く異なるロボットが実現される．そこで、振動反応に代表されるBZ反応とカップルした高分子ゲルアクチュエータやpH振動とカップルしたナノファイバー構造を有する高分子ゲルアクチュエータなどを実現した。特に、BZ反応とのカップリンにより振動的な反応によるゲルの周期的な収縮に基づいて尺取虫のようにゲルを補講させることに世界で初めて成功したばかりでなく、pH振動による運動生成の見込みも立ち、ケミカルロボット実現へ大きな前進を見た。今後は、これらの成果を統合する形で自己組織型のゲルロボットの完成を目指して研究を続けたいと考えている。そのための課題は、１．機械的な強度の確保、２．選択的な部品配置、３．部品間の接着制御などが挙げられるが、これらについても、各種ゲル素材の比較検討、部品形状制御、pHおよび温度による接着制御の予備的な研究を進めることができているため、科学研究費補助金の萌芽研究として申請を行った。

本研究は，ユーザとシステムによる共創関係を確立するための新しいインタフェース（postGUI）に関する実践的な研究である．人間－機械インタフェースの有り方は，人間と人間のコミュニケーションをモデルとして考えるべきである，という考えの下に，コマンド（意図）の入力を複数の情報チャンネルで行え，また，同じ情報を複数の表現様式で出力すること，および，ユーザの自由な表現から意図を適応的に理解する学習機能を備えたインタフェースの原理と設計手法を確立することを目的としている．　本年度は口腔内動作を用いた新しいインタフェースの提案，従来のインタフェースによるユーザとシステムのコミュニケーションをより快適なものとするための音響処理システムの開発，ユーザの感性を学習することによりユーザにストレスを与えることなくユーザの好みに合う商品を提案するシステムの考案等を行い，基礎的な検討を行った．　まず，口腔内における舌の自由な動きや噛み締める動きを利用し，手を用いることなく様々な機器の操作が可能なインタフェースの開発を行った．従来主に用いられていた手や足を用いた機械への意図伝達に加え、多彩な入力を行うことが可能となった．また，感性学習を用いた商品提案システムの評価実験では，ユーザがより簡易かつ低負担で目的の商品を探し出せることが可能であることが示された．さらに、ボール型の把持インタフェースをあらたに開発して、身体運動による音響生成のデモンストレーションを行った。音響処理系では，音声を用いた入力を行う際に致命的な問題となる突発的な雑音を抑制するための手法を見出した．　さらに，狭隘部を移動するロボットの支持方法と遠隔制御、圧力センサーシステムの開発とそれによるロボットの安定性確保、RFIDおよびワイヤレスセンサネットワークによる自己位置推定法の検討とロボットナビゲーションの実験を行った。これらの成果は、今後の大型プロジェクト計画へ事前研究成果として組み込む予定である。

近年、高い生体適合性や刺激応答性を有する機能性ゲルの研究が盛んに行われている。しかしながら、異なった機能を持つゲル同士を物理的に自在に組み合わせる（接着させる）ことによって、多機能化を図る試みはあまり行われていない。我々はこれまで、リニアポリマーによるゲルの表面改質手法を用いることによって、ゲル同士の接着制御に関する検討を行ってきたが、高強度Semi-IPNゲル同士を無機微粒子による表面改質手法を用いることで、接着制御可能なことを新たに見出した。実験に用いたSemi-IPNゲルは、MAPTACを用いてファーストネットワークをUV照射により調整した後に、AAｍモノマーを含浸させてセカンドネットワークを調整した。Semi-IPNゲルのファーストネットワークはMAPTACで構成されているため、表面電荷はプラスに帯電している。そのため、Semi-IPNゲル同士の接着は、静電反発効果により困難である。このような静電反発効果を回避するため、負に帯電したシリカ微粒子をゲル表面に塗布することでゲル同士を強固に接着させる手法を見出した。この接着手法の利点は、シリカ微粒子を塗布した部分のみ、接着性の改質が行える点にある【接着面の選択性】。また、ゲル表面のみを改質するため、ゲルが持つ機能を変化させることなく、物理的な接着が可能である【機能性の維持】。SEM画像より、ゲル網目上にシリカ微粒子がプレート状に積層する形で、数多く並んでいることが確認できた。これより、マイナスに帯電したシリカ微粒子によるゲル同士の接着は、シリカ微粒子が単層ではなく、多層化することで接着に寄与していることが明らかとなった。ゲルとシリカ微粒子の相互作用、また多層構造を形成しているシリカ微粒子同士の相互作用が本接着手法に大きく寄与していることが考えられる。

人工物に比べてはるかに規模が大きく，季節，天候により大きく様相の変化する山林などの自然と共生する機械システムには，単なる個別目標を達成する機能だけでなく，自然を大きく捉えて理解する知能が求められる．そのためには情報ネットワークとの結合が不可欠であるばかりでなく，人間共存ロボットとは異なる視点からの研究が必要である．本研究は，フィールドセンサネットワーク，情報認識，ロボット制御，屋外ロボットに関する研究を有機的に結合することにより，自然と機械とのインタフェース技術の学術基盤を構築し，ロボットとネットワークの活用に関する新しい分野を開くことを目的としている． 本年度は，ロボットシステムを構築する上で重要な新しいセンサネットワークの構築手法，自然画像等を高精細に解析するための高画質化手法，及びナビゲーションロボットや搬送ロボット等を開発し，基礎的な検討を行った．　まず、アクチュエータ，センサ，情報処理系等の様々なIRT(Information & Robot Technology)要素間でやり取りする情報を“意味”に統一してモジュール化し，意味を伝達するネットワークを構成することで，機能の追加や変更に柔軟に対応できるIRT システム構築法を提案した．外界の気温や人間の有無等の入力に対して出力機器のアクチュエータ等を容易に実装することが可能である．これは，農業用ロボットや既存の草刈りロボット等を容易に統合制御できると期待できる．また，RFIDおよびセンサネットワークモジュールの両方を用いて，移動ロボットの自己位置認識の高精度化を試み，狭隘部の通過が容易になることを実験的に確認した．さらに、ランダムに配置したRFIDタグから、自己位置の推定を可能にするアルゴリズムの開発も行った．画像処理系では，複数画像からの高階調化の新しい手法を検討し，従来に比べて良好な画像を合成することができた．人間とロボットのインタフェースの研究では，積荷をインタフェースとする搬送ロボットおよび口中動作によるロボットハンドの制御を実現した．

本研究の目的は、農地、自然公園あるいは山林などといった大規模環境下において、移動するロボットを導入した動的なフィールドネットワークにより環境情報を収集すると共に、自律作業を実現する知能情報機械系の基盤技術を確立することにある。この目的を実現するためには、様々な要素技術を開発し統合する必要がある。そこで、本年度では以下の３つの要素技術の研究に注力した。(i)フィールドネットワークによるロボット制御技術受動型のRFIDタグ及び、アドホックな無線センサを環境に埋め込みことで環境ネットワークを構成し、ロボットの移動制御を行った。RFIDで環境を構成した場合では、無電源・無線の特徴により多様な環境に埋める込めることができるため、屋外等の環境に容易に適用できる。移動無線センサではセンサ同士が通信し、ロボットへ位置の提示・移動方法を提示する。これにより、環境内で安定したロボットの移動が行えた。(ii)学習能力を有するロボットの制御技術ロボットの環境への柔軟な対応を実現する為に、実機とシミュレータの双方を同時に利用した機械学習手法の開発と、ロボットの自律的な故障診断技術の確立を行った。前者では、ニューラルネットワークを用いて実機の情報からシミュレータを作成し機械学習を行った。これにより物理モデルを立てずにシミュレータを構築し、機械学習における学習コストを軽減することができた。故障診断では、強化学習における内部パラメータを利用することにより、不要なセンサを必要とせずに、故障診断及び故障箇所の特定が行えた。(iii)汎用なコミュニケーション・インタフェース技術　ロボット同士、及び、人との柔軟なコミュニケーションを実現するために、ロボットのインタフェース技術の開発を行った。ロボットへの命令送信を、可視光を用いたインタフェースに統一することで、単純かつ明確な制御が行える。また、“意味”を媒介とするセンサデバイスの開発も行った。様々なセンサの出力を“意味”に統一することで、頑健なセンシング技術を容易に実現することができた。今後はこれらの要素技術を統合したプラットフォームを作成し、屋外大規模環境での実験を行う予定である。

　本研究課題は，「人間が検査困難である高所なコンクリート壁面，及び，足場設置が不可能なコンクリート壁面」に対する壁面の安全性を自動的に検査する技術を確立することである．そのために，(1)人間が検査困難である高所な場所や，検査のための足場設置が不可能な危険箇所に対して，アクセス・移動が可能な壁面移動ロボットの開発，(2)壁面移動ロボットの移動を安全に実現するための壁面移動支援ロボットの開発，(3)壁面移動ロボットが取得したコンクリート壁面像から，汚れ，染みや型枠などの模様が浮き出ている場合でも，計測対象である「ひび割れ」のみを高精度に検出・計測可能な画像検査技術の確立，の3つを具体的な研究目標として掲げた．　まず，近年の壁面移動ロボットは磁力吸着や真空吸着等の機構を用いたロボットが開発されており，独創的な機構を開発することが注目されている．一方，本研究では，実応用を考慮し，エネルギー効率を重視した壁面移動ロボットを開発した．開発したロボットは吸引型の機構を持ち，車体に接触センサを取り付けることによって壁面との吸着力を計測する．吸着力が十分な場合は吸引を弱くし，落下の可能性がある際に吸引力を強くする．この制御により，常に最大出力で吸引する必要のない効率的な制御を実現した．　次に，壁面移動ロボットのさらなる安定した移動を実現するため，壁面移動ロボットを支える伸縮アーム型壁面移動支援ロボットを試作した．このロボットは壁面移動ロボットの壁面移動に追従し，移動を妨げることなく常に下から安全に支えることが可能である．　最後に，画像検査技術として，ひび割れ検出・計測を高精度に行える手法を提案した．パーコレーションモデルによるひび割れの画像検査手法として独自の理論を構築し，実用で必要な0.2mmのひび割れを検出・計測することが可能である．　また，これらの研究成果は国内会議で４件発表し，今後は論文誌，国際会議等で報告を行う予定である．

本研究課題の目的は，原子炉など，安全のために常時監視を必要とし，しかも，人間が侵入不可能な建造物に対して，より安全に検査が行えるような自動計測技術を確立することにある．この目的を実現するためには，次の二つの具体的な研究が必要となる．1つは，建造物の安全性，危険性を的確に診断可能な高度の画像計測技術を確立すること，もう1つは，実際に人間が進入不可能であるような場所に侵入できる自動制御ロボット技術を確立することである．そこで，本年度は前者の画像計測技術の研究に注力した．　建造物診断の一般的な指標には，コンクリート表面の「ヒビ」がある．実建造物のコンクリート表面像には，光ムラ，気泡，染み等の多くの雑音を含むため，通常の画像処理手法ではヒビのみを検出することが困難であるため，多くの課題が残っていた．そこで，本研究ではコンクリート壁面画像中に存在する「ヒビ」のような特徴には，近傍画素間で，画素同士が連結するような固有の特徴が「ヒビ」に存在すると考え，固体に液体が染み込む現象であるパーコレーション過程を画像処理としてモデル化した．このパーコレーションモデルをヒビ検出に適用することで，従来研究されているヒビ検出手法よりも，高精度なヒビ検出手法を実現した．また，本研究はメディアにも注目され，2005年7月29日の日本経済新聞にも採り上げられた．また，ヒビのみならず，提案したパーコレーションモデルは様々な画像処理として適用することができ，画像修復，エッジ検出，ノイズ除去，さらにはガラスの欠陥検出にも応用することが可能になった．今後は，人間が入れない狭隘部へ進入でき，精度良く位置決めが可能な壁面撮像用の移動ロボットを開発・製作し，実建造物の垂直なコンクリート壁面をも巡回検査可能なロボットへその技術を適用する．

　今年度は、機械による自己増殖の具体的な問題として、環境制御による自動組立をとりあげて、複数種類の微小部品から閉じた三次元構造を自動組立するために、以下のような前提条件を考えた。まず、Whitesidesらの方法と同様に、組み立てる部品として5mm角のアクリルキューブを複数用意し、結合面に低融点のはんだで覆われた銅箔パターンを貼付する。それらのコンポーネントを55℃に保った酢酸水溶液中に入れ、攪拌し、組立を行うことを検討した。また、ランダムな初期状態にあるコンポーネントから8つのコンポーネントからなる、閉じた立方構造を自動組立によって実現することを目標とした。このようなシステムで設計すべき点は、自由エネルギー最小状態は8つのコンポーネントからなる閉じた立方構造、エネルギー障壁はコンポーネントデザイン、自動組立のための環境は水溶液の攪拌となる。そこで、実験では自動組立による目的の構造の形成とともに、攪拌の強さ（外力）や時間、コンポーネントデザインを変えることによってどの程度選択性（収率）を制御することができるかについて調査した。　複数種類の部品から三次元的な閉じた構造を自動組立するには、部品は「どの部品と、どのような姿勢で結合する」というように、より選択的に結合を行わなければならない。そこで、複数種類の部品からより高度な構造を自動組立するには部品の選択性（質と量）を改善する必要がある。ここで、選択性の質は「その選択的な結合がどの程度再現性をもって起こりうるか」という選択的な結合の確率を意味し、選択性の量は「どの部品とどの部品がどのような状態で結合するという数」、つまり選択的な結合の多様さを表す。そこで、このような部品の選択性を実現するためのコンポーネントのデザインについて実験的に検討した。部品表面のはんだ融着面の形を適切にデザインすることでランダムな初期状態にある2種類のコンポーネントから確率的に目的の三次元閉構造を得ることができた。しかし、まだその収率は低く、完全な立方体構造が得られることは多くない。今後、途中まで正しく組み立てられている集合体を再度組立に使うようなサイクルを考えることによってさらに収率を高めることが望まれる。

土木・建築分野において，画像検査は建築物や構造物の安全性を検査・診断するための手法として期待されている．特に，コンクリート表面のひび割れを検出することは，地震による影響や構造物の劣化を診断する上で重要である．我々はこれまでにデジタルカメラにより得られた画像を用いて画像検査を自動化するシステムを製作した．このシステムはシェーディング補正や2値化処理を含む種々の画像処理を組み合わせることにより，ひび割れを抽出・解析するシステムであり，実際の土木・建築の検査に既に利用されている．しかし，ひび割れ検出・解析の高精細化を実現する上で，従来手法のままではひび割れが途切れ途切れに検出される問題があるため，ひび割れ幅の計測が行えない場合があるという課題が残っていた．そこで本研究では，ひび割れ固有の特徴を考慮したひび割れ検出手法を検討した．ここで，ひび割れ固有の特徴とは，ひび割れの方向性や連続性を指す．提案手法では，まずコンクリート表面を撮影したデジタル画像からひび割れを検出するために，前処理としてひび割れの存在する領域(ひび割れ領域)を検出する．次に，検出されたひび割れ領域にのみひび割れ検出処理を施す．ひび割れ領域の検出には，2値画像を対象とするHough変換をグレースケール画像に拡張したGray-scale Hough変換を適用する．Gray-scale Hough変換を用いることにより，ひび割れの直線性と方向性を考慮した検出が可能になる．また，ひび割れ検出には，2次元正方格子のサイトパーコレーションのモデルによるインベージョンパーコレーションを利用する．通常のサイトパーコレーションは4近傍モデルであるのに対し，提案モデルはひび割れの繋がりを表現するため，対角成分を考慮した8近傍モデルとした．局所領域でインベージョンパーコレーションを行い，注目画素がひび割れの一部であるか否かを評価した．これにより，ひび割れが途切れ途切れにならずに検出することが可能となった．さらに，インベージョンパーコレーションをノイズ除去フィルタとして利用することにより，検出精度の向上も可能である．

　ソフトウエアによる自己複製や自己増殖については、すでに多くの研究があるが、ハードウエアの自己増殖についての報告は少ない。ここでは、実世界でのハードウエア自己増殖の可能性を理論的に検討するとともに、自己増殖の基本となるハードウエアの自己組織化について実験的な研究を行った。特に、詳細な個別制御ではなく環境パラメータによる全体的な制御のみで自己組織化を実現する具体的なメカニズムの検討と実験を行った。　　自己組織化が実現するには次の条件が必要である。ⅰ）希望する最終状態が系のフリーエネルギが最小の状態となるようにしなければならない。ⅱ）適度な時間内に組立が完了するために、何らかのエネルギを外部から供給しなければならない。そこで、構成パーツの自己集合加振することによってランダムな運動エネルギーを与え、パーツをストック台に自己配列させ、パーツを部分的に正負に帯電させ、その後パーツを自己集合させる実験を行った。さらに、その応用として、円柱パーツを穴のあいた基板に自己配列させ、穴の下に交差するように電流を流して、回転磁場によって選択的に駆動する分布型のマイクロモータの作製を試みた。　まず、単純な形状のパーツを多数の穴を明けた板の上に散布して、部品を穴にはめ込み配列させる実験を行った。スピーカまたは振動モータを用いて振動を徐々に収束させてはめ込みの成功率（収率）を調べた。部品はセラミック球（φ；0.2、0.5、1.0、2.0mm）と鉄柱(h；1.0mm、φ；0.2mm)としたが、セラミック球はサイズが小さくなるにつれて表面力の影響が大きくなり穴に入り難くなった。鉄柱は球ほど収率はよくないが比較的よく配列した。しかし部品同士が付着して同じ穴にはいってしまうものもあり改良の余地があると思われる。次に、鉄柱部品をはめ込んだまま磁化して、外部からの電流磁場によりこれを回転させる分布型モータを試作した。その結果、穴の中の摩擦を減ずるために水を注入し表面張力によって支持すれば、電流１A程度で回転することが確認できた。また、電流の周期を変えることにより回転数の制御も可能であった。　以上の実験から、系のエネルギーが最小になる方向に結合が進むことを利用して目的の構造を組み立てることが可能であることが判った。実際のシステムは多種多様な部品からなる複雑な構造をしていることから、結合の選択性の量と質が重要と考えられる。選択性の量とは選択的に結合する組の数であり、質というのは選択的に結合する確率である。そこで、複雑な構造の形成を実現する前段階として、限られた種類のパーツを用いた自律的な組立の研究を現在行っている。具体的には多面体のコンポーネントを部品と見立て、結合部分に低融点半田を付着させ、それらのパーツを外部からのランダムな力で揺動することによって半田の表面張力で目的の構造に組み立てる実験を行っている。また、その中で選択性を高めるためにコンポーネントや結合部分のデザインによる選択性の向上やその他の選択的結合力についても検討している。この手法では、半田によって機械的、電気的な結合が実現し、通常のマニピュレータによる組立では為し得ない3次元的な電気回路の作製等に応用できると考えられる。

　本年度は、情報系４グループと、機械系２グループでそれぞれの分野での、要素技術の研究開発と統合システムへの準備を行った。研究項目は、画像処理、音声処理、力覚情報処理、感性情報処理、ロボットの腕、手、脚の機構と制御方式および遠隔操作など多岐にわたっているが、昨年度までの成果を部分的に統合する試みも行った。また、国際会議で積極的に成果を報告するばかりでなく、ロボフェスタ神奈川プレ大会をはじめいくつかのロボット展覧会への参加と海外でのデモンストレーションも行った。主な成果は以下のとおりである。　情報系では、１）画像処理に関しては、能動的な視覚系により環境地図の自動作成の研究を進め、局所的な地図を作成すると同時にその地図を手掛かりにオープンスペースへの移動を行う情報収集戦略を検討した。２）人物認識では、オプティカルフローを解析して背景の動きと人物の動きを分離する手法を検討した。３）音声対話に関しては、マルチモーダル対話システムにおけるサブモジュール間の情報共有の方法について検討し、音声認識と話者認識を同時並行的に行う機能を実現した。４）遠隔操作システムNAVIGATEの開発を行い、環境を自律的に先行認識し、目的地に遠隔操作および自走で到達するロボットのプロトタイプも試作した。　一方、機械系では、１）感覚に関しては、頭部ロボットの眼瞼部に新たにロール軸方向の自由度を付加し、目尻の上げ下げを実現した。また、顔色表出機構および発声機構を搭載した。２）歩行に関しては、上下肢・体幹・頭部を有する２足歩行型ヒューマノイドロボットWABIANの新しい制御アルゴリズムを考案し、キー入力・音声入力・視覚の３種類の入力に対する継続的な追従運動を実現した。３）マニピュレーションの研究では、作業性と安定性を両立した姿勢決定アルゴリズムを構築し、シュミレーションによってその有効性を確認すると同時に、人間との物理的インタラクションが可能な、４指13自由度からなる人間形のハンドを製作した。４）生物と機械の相互作用に関する研究では、目標を自動追従することのできるロボットシステムを開発し、それを用いてラットのにおいをつけたロボットがラットの行動にどのような影響を与えるのかを調べた。

本研究は，人間と接触しながら作業を行う人間形共同作業ロボットの基礎技術を確立することを目的とし，さらに，人間の生活空間で人間と共生する次世代情報機械としての“ヒューマノイドロボット”の本学における研究を国際的に広め，この分野の発展に寄与するために国際会議の開催をめざしたものである。 計画年度内に，いくつかの研究会を開催し国内外の研究者との交流を行うとともに，研究活動として，機械系，視聴覚系，頭脳系の個別サブシステムの技術開発に力を注いだ。また，これらを部分的に統合する試みも行った。具体的な研究経過および成果は以下の通りである。1. 機械系では，人間の手と腕をリンクモデルとして扱った力学解析を行うとともに，実際の人間の3次元動作の直接計測を試みた。また，歩行軌道の計画を支援する対話型の2足歩行パターン作成システムを構築した。これにより，人間形ロボットハンドと2足歩行系の設計基準が得られた。2. 視覚系では，顔面筋シミュレーションシステムによる表現合成と音声駆動による発話動画像の生成を試みた。また，音声と口唇運動の同期を手がかりとしてシーンから発話者を発見する手法を検討し，集団の中で対話相手を認識することに成功した。3. 音声系では，通常の室内環境での音声の実時間認識システムを作製すると同時に，実際の対話データの収集および分析を行い，構内案内の音声対話系を作成した。その結果，対話のシナリオによって音声認識の信頼度を上げ得ることが判った。4. 頭脳系では，サブシステムの接続を行うロボット内ネットワークの設計とその実験を行うと同時に，ロボットシステムで能率の良い通信プロトコルを検討した。5. CCDカメラの眼球と頭部が独立に動くロボット上体と，簡単なジェスチャーの提示ができる腕を製作し，これに視覚系と音声系を結合して校内案内ロボットの試作実験を行った。試作した構内案内ロボットは移動しないものであるが，動作速度の著しくことなるサブシステム間の同期処理を円滑に行うためには，並列処理系にロボット全体の状態を監視する機構が有効であることが判った。 これらの成果の一部は，日本ロボット学会，機械学会，情報処理学会などで発表されるとともに，1995年7月に早稲田大学で開催された，ロボットと人間の対話に関する国際会議（ROMAN'95）の特別セッションで公開された。現在，以上の成果に基づき，統合システムの製作が行われている。また，本グループが本年10月に開催を計画している国際シンポジウム“HURO '96”では，内外の研究者とのパネルディスカッションも計画している。