Updated on 2024/12/21

写真a

 
Fukusato, Tsukasa
 
Affiliation
Faculty of Science and Engineering, School of Fundamental Science and Engineering
Job title
Assistant Professor(tenure-track)

Research Experience

  • 2023.04
    -
    Now

    Waseda University   School of Fundamental Science and Engineering

  • 2017.09
    -
    2023.03

    東京大学大学院   情報理工学系研究科 コンピュータ科学専攻   助教

  • 2017.04
    -
    2017.08

    Waseda University   Research Institute for Science and Engineering

Committee Memberships

  • 2022.04
    -
    Now

    International Conference on Cyberworlds (CW)  Program Committee

  • 2022.04
    -
    Now

    NICOGRAPH International  Program Committee

  • 2021.04
    -
    Now

    IIEEJ International Conference on Image Electronics and Visual Computing (IEVC)  Program Committee

  • 2021.04
    -
    Now

    Visual Computing  プログラム委員

  • 2020.04
    -
    Now

    インタラクティブシステムとソフトウェアに関するワークショップ (WISS)  実行委員・プログラム委員

  • 2024.04
    -
    2024.11

    芸術科学学会 NICOGRAPH  プログラム副委員長

  • 2022.04
    -
    2023.09

    Visual Computing  実行委員

  • 2022.04
    -
    2023.08

    ACM SIGGRAPH / Eurographics Symposium on Computer Animation (SCA)  Program Committee

  • 2022.10
    -
    2023.03

    International Symposium on Intelligence Design (ISID)  Program Co-Chair

  • 2018.04
    -
    2023.03

    芸術科学学会 NICOGRAPH  プログラム委員

  • 2021.10
    -
    2022.03

    International Symposium on Intelligence Design (ISID)  Program Chair

  • 2022.01
    　
    　

    International Workshop on Advanced Image Technology (IWAIT)  Special Session Organizer

  • 2020.11
    -
    2021.03

    International Symposium on Intelligence Design (ISID)  Program Committee

▼display all

Research Areas

  • High performance computing / Entertainment and game informatics / Human interface and interaction

Awards

  • Best Poster Award

    2024.11   芸術科学学会 NICOGRAPH 2024  

  • Honorable Mention Award

    2023.04   Computational Visual Media  

  • Best Poster Award

    2023.03   3rd International Symposium on Intelligence Design (ISID)  

  • Top Downloaded Article

    2022.06   Computer Animation and Virtual World  

  • Best Short Paper Award

    2021.10   the IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC 2021)  

  • VCショート発表賞

    2021.09   第29回 Visual Computing 2021  

  • Best Short Paper Award

    2021.07   NICOGRAPH International 2021  

  • Best Poster Award

    2021.03   1st International Symposium on Intelligence Design (ISID 2021)  

  • VC論文賞

    2020.12   第28回 Visual Computing (VC 2020)  

  • 優秀研究発表賞

    2020.12   一般社団法人情報処理学会コンピュータグラフィックスとビジュアル情報学研究会   セルアニメ作品の三次元的な矛盾に着目した2.5Dモデルの一検討

  • 優秀研究発表賞

    2020.12   一般社団法人情報処理学会コンピュータグラフィックスとビジュアル情報学研究会   奥行方向への移動に対する非写実的なパースのインタラクティブな設計手法

  • Top Downloaded Paper 2018-2019

    2020.05   Computer Animation and Virtual Worlds  

  • Best Paper Nominee

    2019.07   CASA2019  

  • 優秀論文賞

    2018.07   画像電子学会  

  • Best Paper Awards: Gold

    2017.12   ACE 2017  

  • 学生優秀発表賞

    2017.08   一般社団法人映像情報メディア学会  

  • 優秀研究発表賞

    2017.06   一般社団法人情報処理学会コンピュータグラフィックスとビジュアル情報学研究会 Visual Computing / グラフィクスとCAD合同シンポジウム  

  • 情報処理学会論文誌ジャーナル/JIP特選論文

    2016.05   情報処理学会  

  • 西田賞

    2014.07   画像電子学会  

▼display all

 

Papers

▼display all

Research Projects

  • Geometry processing technologies with texture characteristics

    Japan Society for the Promotion of Science  Grants-in-Aid for Scientific Research

    Project Year :

    2024.04
    -
    2028.03
     

  • スケッチ画を入力とした対話的な3次元形状設計におけるデータ駆動型システムの開発

    公益財団法人 柏森情報科学振興財団  研究助成

    Project Year :

    2022.01
    -
    2023.12
     

  • 現場で働くプロの手描きデザイナのための対話的なセルアニメ制作支援ツール

    日本学術振興会  科学研究費助成事業

    Project Year :

    2019.04
    -
    2023.03
     

    福里 司

    　View Summary

    本年度は主に、デザイナがデジタルイラストの線画を描く工程自体を支援する技術に着手した。綺麗な線画を描くには「完成図を想像するスキル」や「全体のバランス（大域特徴）を整えつつ、詳細な部位（局所特徴）を描くスキル」が求められる。しかし、これらの技術を取得するには数年単位の時間を要し、一般ユーザにとっては非常に難しいタスクである。そこで申請者は、ユーザがキャンバス上に描いたイラストの途中経過を基に、「ユーザが何を描きたいのか」をリアルタイムに予測し、大域的なガイダンスと局所的なガイダンスを生成するデータドリブンな手法を考案した。また、線画ガイダンスの生成に用いるデータベースを効率的に構築するために、写真やイラストから線画データを自動抽出するタスクに特化した機械学習モデルや、複数の線画データの間を滑らかにつなぐ中割り画像を設計するための「対応付け」タスクに特化したユーザインターフェースも考案した。更に、これらの研究の技術基盤となっている画像処理や機械学習モデルのプログラムを開発する工程自体を効率化するプログラミング支援技術や、前年度に着手した3Dモデリング支援ツールの拡張技術についても検討した。
    それぞれイラスト制作やプログラミング、2D/3Dモデリングの経験を持つ被験者を対象としたユーザテストをオンラインで実施し、提案手法の有用性を示した。これらの研究成果は、国際ジャーナルや国際学会にて発表した。

  • ラフスケッチ画から高品質な3D キャラクタを制作するための深層学習フレームワーク

    公益財団法人立石科学技術振興財団  研究助成(A)

    Project Year :

    2020.04
    -
    2022.03
     

  • 物理シミュレーションを用いたアニメ制作を効率化するディレクタブル制作支援システム

    日本学術振興会  科学研究費助成事業

    Project Year :

    2015.04
    -
    2017.03
     

    福里 司

    　View Summary

    申請者は「アニメや漫画のような個性豊かな映像作品を効率的に制作するため、専門的なスキルを持たないユーザ（デザイナ）の直観的な操作で作品を制作するために，前年度に引き続き「アーティスト（アニメータ）の感覚的なスキルの定量化の技術」「3Dモデリングシステム」の改善に加えて，複数のプロジェクトに従事した．
    一つ目は、原作となる漫画作品のコマを基にアニメ作品のキャラクタの動きやカメラワーク演出を決定する事に着目し，「あらゆる動作にはキメとなる瞬間（フレーム）が存在する」を立てた．その仮定を基に，原作漫画のコマ割りとアニメ作品との相関関係の分析を行った．この結果を用いて，任意の動画から漫画を制作することが可能となった．更に言語学や心理学の分野で議論されていた「音象徴」の理論を利用し、アニメ作品の擬音語を数値化することで，任意のシーンに最適な擬音語を決定する手法も同時に開発した．
    二つ目は「3Dモデルを作るための新たなモデリング方法」である。従来のスケッチ（輪郭線ベース）、画像をトレースするモデリングと異なり，提案する操作方法は画像上に複数の点群を配置するだけのものである．プロのデザイナ（3DCGの専門知識なし）やCGモデラ（3DCG作品の制作経験有）を対象としたユーザテストを行った．ユーザテストの内容としては，(1)提案システムの使いやすさの検証,(2)生成結果に要する時間、満足度を調査するものである。その結果、提案するモデリング手法は、特に簡易的な3Dモデルの制作に対して有効性を示した．
    更に、申請者は共同研究として「キャラクタの二次動作を生成する手法」「衣服モデリング」「イラストを実写の人物に変換する手法」にも着手した．

Industrial Property Rights

  • 矯正目標頭部３Ｄデータを生成するソフトウェア、方法およびプログラム

    福里 司, 大野 秀晃

    Patent

  • 口唇アニメーション生成装置及び口唇アニメーション生成方法.

    森島繁生, 古川翔一, 福里 司

    Patent

  • 3d modeling by tracing 2d image ui

    Tsukasa Fukusato, Daichi, Ito, Radomir Mech

    Patent

  • 3D model generation from 2D images

    Ito Diachi, Mech Radomir, A Carr Nathan, Fukusato Tsukasa

    Patent

  • Erzeugung eines 3-D-Modells aus 2-D-Bildern

    Daichi Ito, Radomir Mech, Nathan A. Carr, Tsukasa Fukusato

    Patent

  • 根据2d图像的3d模型生成

    伊藤大地, R·米克, N·A·卡尔, 福里 司

    Patent

  • 3D Model Generation from 2D Images

    Daichi Ito, Radomir Mech, Nathan A. Carr, Tsukasa Fukusato

    Patent

▼display all

 

Syllabus

▼display all

 

Sub-affiliation

  • Faculty of Science and Engineering   Graduate School of Fundamental Science and Engineering

Research Institute

  • 2023
    -
    2024

    Waseda Research Institute for Science and Engineering   Concurrent Researcher

Internal Special Research Projects

  • 漫画作品を対象としたデザイン支援技術の開発

    2024  

    　View Summary

    Converting video sequences into comics is a powerful way to efficiently understand their stories and enables people to have unique experiences due to the different sizes and shapes of comic panels. However, compared to comics, video sequences contain temporal information about the story, so important information about the story may be lost when making comics. Then, in recent years, comic designers have extended the traditional comics to past video segments of a few seconds onto each comic panel instead of static images, called “dynamic” comics. The advantage of dynamic comics is that characters’ physical/emotional movements and camera work in videos can be easily represented. In addition, dynamic comics can create a multimodal narrative space where time and space collaboratively influence the unfolding of the story. However, even though various algorithms have been proposed for automatically generating standard comics (= static comics) from image/video sequences, it remains challenging to make dynamic comics. The main reason is that it requires special skills (i.e., image/video manipulation while imagining compositions and final designs) and users must repeat (1) switching between video editing tools and image editing tools and (2) checking results until the user is satisfied, which is a time-consuming and tedious process. On top of that, the state-of-the-art technologies using artificial intelligence methods fall short in interpreting users’ detailed intentions in video editing and comic layout creation, and the generated results may lack precise control capabilities. Therefore, the present paper aims at reducing the manual effort required to make dynamic comics. This research proposes a first-step system that enables users, even if non-professional users, to interactively design dynamic comics from video sequences, by integrating a simple video editor into a comic layout editor. First, users manually prepare video segments on the video editor and make comic layouts using a parametric model. Then, the system automatically assigns the video segments to each panel. Our system can combine various existing methods such as automatic segmentation. 

  • 現場で働くプロの手描きデザイナのための対話的なセルアニメ制作支援ツール

    2023  

    　View Summary

    This research focused on a technique for designing character using inbetween charts. Inbetween charts are a familiar tool in cartoon production; they are used to show how many inbetweenings go between each keyframe. Typically, inbetweenings are not drawn for all 60+ frames required for one second of animation, and most movements can be done with fewer drawings per second. In addition, to vary the speeds of character movement, animators often place inbetweenings at different intervals on the chart. This technique is called ``the illusion of movement,'' which is a hand-drawn-cartoon-specific characteristic that differs full-CG animation (60+ fps). Digital 2D animation techniques such as shape interpolation methods have increasingly been adopted around the world. However, to our knowledge, no similar software exists that can support inbetween chart design; therefore, digital animators working in cartoon production manually make inbetweenings for cutout animations as follows. (1) First, they render many images of intermediate shapes generated using the above methods, (2) import them to software for digital motion compositing and editing, and (3) select several images among them as a post-process. This approach requires the repetition of the process of converting the selected images to video and checking it until the animator is satisfied. Therefore, we propose an interactive tool to intuitively make inbetween charts, inspired by cartoon animators’ techniques. Given several keyframes, this system constructs trajectory-guided sliders that enable users to directly adjust inbetween values on a screen. In addition, these sliders can visualize simple inbetween timings to provide guidance on cartoon-like motions, such as animating ``on twos'' and ``slow-in/out'' in the background of the slider. This method is simple enough to easily implement in existing animation-authoring tools. We conduct a user study with novice and amateur users and confirm that the proposed slider is effective for manually constructing the inbetween charts envisioned by the users.

  • 創造的な思考を促進するイラスト制作システム

    2023  

    　View Summary

    To build a system that creates high-quality illustrations imagined by users, as a first step we develop an AI system to generate photorealistic images (e.g., facial images) from rough illustrations. Synthesizing photorealistic facial images from monochromatic rough illustrations is one of the most fundamental tasks in the field of image-to-image translation. However, it is still challenging to simultaneously consider (1) high-dimensional face features such as geometry and color, and (2) characteristics of input sketches. Existing methods often use sketches as indirect inputs to guide AI models, resulting in the loss of sketch features or in alterations to geometry information. This research proposes an LDM-based network architect trained on the paired sketch–face dataset, named ``Sketch-Guided Latent Diffusion Model (SGLDM).’’ We first apply a Multi-Auto-Encoder (AE) to encode the input sketch from the pixel space to a feature map in the latent space by dividing the sketch into several regions, enabling us to reduce the dimensions of the sketch input while preserving the geometry-related information of the local face details. Next, we construct a sketch-face paired dataset based on an existing method that extracts the edge map from an image. In addition, we augment our dataset to improve the robustness of the SGLDM to handle arbitrarily abstract sketch inputs. The evaluation study shows that the SGLDM can synthesize high-quality face images with different expressions, facial accessories, and hairstyles from various sketches having different abstraction levels.