We pioneered and fused the hierarchical mathematical models of music composition, performance and signal such as A: the signal layer including multipitch analysis of music signals, score following, signal conversion / processing / separation, sound source direction estimation, and music watermarking, B: the performance layer including performance analysis, rhythm estimation, automatic rendition, automatic accompaniment, automatic fingering decision and automatic jazz session, C: the score layer including harmony recognition based on mathematical formulation of music composition theory, automatic music composition from lyrics, automatic lyrics creation, automatic arrangement, automatic composition from images, and D: the common infrastructure including mathematical modeling that supports them, machine learning / optimization, and deep neural networks, focusing on problems between these layers

　音楽や映像に、表からは認識できない情報を織り込んで、視聴者にメッセージを送る「サブリミナル効果」そのものの信憑性を問うべく研究調査を開始、約500人ほどの被験者による調査を行ったが、本当の「サブリミナル効果」なのか、音楽そのものの心理的効果なのか判別しがたい結果となった。このことから、まず「音楽の心理に与える影響」調査を行い、そのあとに「サブリミナル効果」否定の方向に進めるための、音楽のソフト制作を行い、その一部をCD-ROMの形で出版、より広範な調査が可能となった。このCD-ROMは、市販品のためサブリミナル効果は織り込まれていないが、一般商品ではあり得ない「遠隔調転調」や木の音から鐘の音へ、といった「音色変化」も盛り込まれ、また一般の写真集との違和感のないドッキングにより、より自然な形でのアンケート調査が可能になっている。

　音楽や映像に、表面上は認識できない情報を織り込んで、視聴者にメッセージを送る「サブリミナル効果」が存在するとされる情報が流布し始め、商品化され、あるいは放送されたりし始めている。それらは、可成りの市場を持ち、実際に収益を上げている会社も見られる。が、実際に効果があるのか、本当にサブリミナル効果が認識されるのかどうかに関しては、ほとんど研究されていないのが現状であるので、98年度より、その調査を開始した。調査方法は、まず、サブリミナルメッセージを織り込んだ音楽を作成、そのメッセージが実際に伝わるかどうかを、被験者にサブリミナルメッセージが入った音楽と、入っていない音楽（音楽そのものは全くおなじ曲を使用）を聞かせ、アンケート調査を実施する方法で確かめようとした。現在まで実施した500人ほどの被験者による調査では、本当の「サブリミナル効果」なのか、暗示による心理的効果なのか判別しがたい結果となっている。また、本研究を進める内に、「サブリミナル効果」よりも、音楽そのものの表現が人の心理に与える影響の大きさの方がクローズアップされる結果となっている。　このような結果から今後は、音楽の「サブリミナル効果」と「心理的影響」の両面からその効果を確かめる必要が出てきた。「サブリミナル効果」そのものの信憑性を問うべく始められた研究だが、これに「心理的影響」調査を加えることにより、さらに実体に迫ることが出来るものと思われる。肯定にせよ否定にせよ、より精密な調査が必要とされる段階であり、まだ結果と言われる程のものは得られていない。