Faculty of Science and Engineering, School of Creative Science and Engineering

Job title


Homepage URL


Concurrent Post 【 display / non-display

  • Faculty of Science and Engineering   School of Fundamental Science and Engineering

  • Faculty of Science and Engineering   Graduate School of Creative Science and Engineering

  • Affiliated organization   Global Education Center

Research Institute 【 display / non-display

  • 2020

    理工学術院総合研究所   兼任研究員

  • 2020

    国際情報通信研究センター   兼任研究員

Education 【 display / non-display


    University of Tokyo   Graduate School, Division of Engineering   Department of Precision Machinery Engineering  


    University of Tokyo   Faculty of Engineering   Department of Precision Machinery Engineering  

Degree 【 display / non-display

  • University of Tokyo   Ph.D. (Dr. Engineering)-

Research Experience 【 display / non-display

  • 2014

    Waseda Uniniversity, Department of Modern Mechanical Engineering   Professsor

  • 2002

    present Waseda University, Graduate School of Global Information and Telecommunication Studies, Professor

  • 2005.07

    Visiting professor, the University of Karlsruhe, Germany

  • 2000

    Waseda University, Global Information and Telecommunication Institute, Professor

  • 1996

    ATR Media Integration & Communication Research Laboratories, Department head

display all >>

Professional Memberships 【 display / non-display


    The Institute of Image Electronics Engineers of Japan


    The Virtual Reality Society of Japan


    Information Processing Society of Japan


    The Institute of Electronics, Information and Communication Engineers


    Institute of Electronics, Information and Communication Engineers


Research Areas 【 display / non-display

  • Intelligent informatics

Research Interests 【 display / non-display

  • Computer vision,Computer graphics,Virtual reality,Computer Vision,Virtual Reality,Multimedia Tele-communication

Papers 【 display / non-display

  • Estimating the 3D Cut Position of Pork Frontal Legs in RGBD Images by a Deep Learning Based Method for Achieving a Robot That Cuts Pork Legs Autonomously

    Ryo Onuki, Taiki Suzuki, Jeonghwang Hayashi, Chanjin Seo, Jun Ohya, Takaaki Ohkawauchi

    The 7th IIEEJ International Conference on Image Electronics and Visual Computing   ( 3A-4 ) 1 - 4  2021.09  [Refereed]

  • Early Detection of Objects on the Road Using V2V and Multiple Image Streams for Supervised Deep-Learning Based Autonomous Driving

    Zelin Zhang, Jun Ohya

    The 7th IIEEJ International Conference on Image Electronics and Visual Computing   ( 3A-3 ) 1 - 4  2021.09  [Refereed]

  • Interpreting Evaluation Criteria of Running Foot Strike Classifier Using Kinematic Model

    Chanjin Seo, Yuta Goto, Koji Tagami, Hiroyuki Ogata, Kazuyuki Kanosue, Jun Ohya

    The 7th IIEEJ International Conference on Image Electronics and Visual Computing   ( 1A-4 ) 1 - 4  2021.09  [Refereed]

  • Movement Control with Vehicle-to-Vehicle Communication by Using End-to-End Deep Learning for Cooperative Autonomous Driving

    Zelin, Zhang, Jun OHYA

    10th International Conference on Pattern Recognition Applications and Methods     377 - 385  2021.02  [Refereed]

  • Quantitative Method for Evaluating the Coordination between Sprinting Motions using Joint Coordinates Obtained from the Videos and Cross-correlations

    Masato Sabanai, Chanjin Seo, Hiroyuki Ogata, Jun Ohya

    10th International Conference on Pattern Recognition Applications and Methods     531 - 539  2021.02  [Refereed]

display all >>

Books and Other Publications 【 display / non-display

  • Analyzing video sequences of multiple humans: Tracking, posture estimation and behavior recognition

    Kluwer Academic Publishers  2002.03

Misc 【 display / non-display

display all >>

Awards 【 display / non-display

  • The Institute of Image Electronics Engineers of Japan, Excellent Paper Award


  • 15th Telecommunication Advancement Foundation Award (TELECOM System Technology Prize) by The Telecommunication Advancement Foundation (TAF)


  • The 57th Outstanding Patent Applicationss


Research Projects 【 display / non-display

  • Analysis of behaviors of non-rigid objects in real space and their real-time reproduction in 3D virtual space

  • Research on the real-time reproduction of real non-rigid objects' behaviors in 3-dimensional virtual space

  • Research on Reproducing Behaviors of Non-rigid Objects Present in Real Space in Virtual 3D Space

  • Research on Recognizing Human Actions from the Images Acquired by Multiple Static or Dynamic Cameras

  • Study of Analyzing Dynamical Behaviors and 3D Reconstruction from Video Sequences

display all >>

Presentations 【 display / non-display

  • Pedestrian Position Estimation by Integrating AlphaPose Based Human Pose Estimation and PredRNN++ Based Spatiotemporal Series Prediction for Autonomous Driving Systems

    Zhang Zhaowei, Eiji Fukuzawa, Jun Ohya

    Presentation date: 2021.08

  • 協生農法環境におけるRGB画像からの圃場の優勢植生の深層学習を用いる検出方法に関する研究

    征矢 寛汰, 青竹 峻太郎, 小方 博之, 大谷 淳, 大谷 拓也, 高西 淳夫, 舩橋 真俊

    2021年度第49回画像電子学会年次大会講演論文集, S7-3, pp.1-4 

    Presentation date: 2021.06

  • 協生農法環境におけるRGB画像に対するSemantic Segmentationを用いた圃場の被覆状態の認識方法に関する研究

    吉崎 玲奈, 青竹 峻太郎, 小方 博之, 大谷 淳, 大谷 拓也, 高西 淳夫, 舩橋 真俊

    2021年度第49回画像電子学会年次大会講演論文集, S8-2, pp.1-4. 

    Presentation date: 2021.06

  • UAVを用いた災害時の道路画像分割に関する研究

    武藤信太, 大谷 淳

    電子情報通信学会画像工学研究会, vol. 120, no. 390, IE2020-70, pp. 97-102 

    Presentation date: 2021.03

  • 環境モニタリングロボットを用いた夜間森林環境モニタリングにおけるSegNetを用いた環境認識と3次元マップ生成に関する研究

    金子丈朗, 大和淳司, 石井裕之, 大谷 淳, 高西淳夫

    電子情報通信学会画像工学研究会, vol. 120, no. 390, IE2020-69, pp. 91-96 

    Presentation date: 2021.03

display all >>

Specific Research 【 display / non-display

  • 高度手術支援を目指した術中状況認識のデジタル化戦略


     View Summary


  • 手術ワークフローのデジタル化のための術中動画像処理・シナリオ自動生成の研究


     View Summary

     本研究では,手術室に設置された術場カメラから獲得される動画像から手術工程を認識する方法として,動画像の各フレームにおける執刀医と看護師の関節を特徴点として検出し,Bag of Visual Wordsを用いて分類器を作成し,工程を認識する手法を提案する.特徴点検出には少数のデータにより転移学習を行ったDeepLabCutを用いる.検出された特徴点とそれらを結ぶスケルトンモデルを描画し,検出した特徴点を多次元空間中でクラスタリングし,その結果を利用する工程の分類器を作成した.提案法により未知の動画像から手術工程が認識される.手術室において二人の手術医の模擬手術を撮像することにより獲得された動画像に対して提案手法を適用し、有効性の見通しを得た.

  • 視覚情報等に基づく人体動作の自動教師システムの研究


     View Summary

    Recently, with the development of computer vision, achieving automatic guitar fingering teaching systems has been attracting a lot of attentions of academic research.  This research proposes a Particle Filter combined with ROI based method for (1) hand extraction, (2) fingertip candidate detection, and (3) fingertip tracking, as follows: (1) we propose an end-to-end CNN framework (some related works also call it as FCN, Fully-connected Network. This network is a dynamic variation of CNN, but we still call it CNN for respecting the origin) with hundreds of labelled hand segmentation images, which could segment the hand area at each frame of guitar playing videos accurately; (2) we combine Template Matching and reversed Hough Transform as the features foraccurately locating fingertip candidates; (3) we apply a temporal-grouping for the candidates based on ROI (region of interest) association to group the same fingertip candidates on consecutive frames and distribute particles in the surrounding area centered at each of the associated fingertip candidates to address the fast movements and self-occlusions of the fingertips.   Experiments are conducted using videos of guitar plays under different conditions. For the hand region segmentation and fingertip tracking, the proposed method outperforms the related works.

  • 非接触センサからの視覚情報等に基づく人体動作の自動教師システムの研究


     View Summary

    近年、スポーツのスキルの上達を目指して、運動者をカメラで撮像し、画像処理と機械学習を用いて人間の運動動作を評価するシステムが注目を集めている。本研究では、少数箇所の改善を段階的に行って動作改善を目指す方法を検討する。まず、教師なし学習を用いて、類似する運動動作を検出するための特徴量を得る方法を検討する。具体的にはAutoencoder を教師無し学習に用いる。次に、得られた生成モデルの情報に対してクラスタ分析を行い、得られるクラスタの特徴を、学習済みモデルにおける入力寄与度を用いて分析する。本研究では短距離走における疾走動作を検討対象として実験を行い、検出されたクラスタにおける疾走動作の傾向が得られる見通しを得た。

  • 動画像処理に基づくギター演奏評価法の研究


     View Summary

    ギター演奏者の左手の動きをカメラで撮像することにより獲得される動画像を解析し、運指の良否を自動的に判定する方法の検討を行った。ギター演奏中の手と指の動画像の訓練データを収集する。各指の関節の位置の時系列データに対するDCT(離散コサイン変換)特徴を求める。一方、それぞれの訓練データにおける指の動きの良さについてのスコアを、ギターの教師が与える。スコアを目的変数、各関節のDCT特徴を説明変数として、訓練データに対してサポートベクトル回帰(support vector regression)を行い、回帰式を得る。未知データのDCT特徴をこの回帰式に代入し、スコアが正確に求まるかどうかを実験的に検討し、有効な結果を得た。

display all >>

Overseas Activities 【 display / non-display

  • ヒューマノイドロボットの視覚・聴覚・触覚による状況認識とナビゲーション法


    ドイツ   カールスルーエ大学


Syllabus 【 display / non-display

display all >>