2025/02/05 更新

写真a

フクサト　ツカサ
福里　司
所属
理工学術院 基幹理工学部
職名
講師（テニュアトラック）

経歴

  • 2023年04月
    -
    継続中

    早稲田大学   基幹理工学部 表現工学科   講師.

  • 2017年09月
    -
    2023年03月

    東京大学大学院   情報理工学系研究科 コンピュータ科学専攻   助教

  • 2017年04月
    -
    2017年08月

    早稲田大学   理工学術院総合研究所   次席研究員（研究院助教）

委員歴

  • 2022年04月
    -
    継続中

    International Conference on Cyberworlds (CW)  Program Committee

  • 2022年04月
    -
    継続中

    NICOGRAPH International  Program Committee

  • 2021年04月
    -
    継続中

    IIEEJ International Conference on Image Electronics and Visual Computing (IEVC)  Program Committee

  • 2021年04月
    -
    継続中

    Visual Computing  プログラム委員

  • 2020年04月
    -
    継続中

    インタラクティブシステムとソフトウェアに関するワークショップ (WISS)  実行委員・プログラム委員

  • 2024年04月
    -
    2024年11月

    芸術科学学会 NICOGRAPH  プログラム副委員長

  • 2022年04月
    -
    2023年09月

    Visual Computing  実行委員

  • 2022年04月
    -
    2023年08月

    ACM SIGGRAPH / Eurographics Symposium on Computer Animation (SCA)  Program Committee

  • 2022年10月
    -
    2023年03月

    International Symposium on Intelligence Design (ISID)  Program Co-Chair

  • 2018年04月
    -
    2023年03月

    芸術科学学会 NICOGRAPH  プログラム委員

  • 2021年10月
    -
    2022年03月

    International Symposium on Intelligence Design (ISID)  Program Chair

  • 2022年01月
    　
    　

    International Workshop on Advanced Image Technology (IWAIT)  Special Session Organizer

  • 2020年11月
    -
    2021年03月

    International Symposium on Intelligence Design (ISID)  Program Committee

▼全件表示

研究分野

  • 高性能計算 / エンタテインメント、ゲーム情報学 / ヒューマンインタフェース、インタラクション

受賞

  • Best Poster Award

    2024年11月   芸術科学学会 NICOGRAPH 2024  

  • Honorable Mention Award

    2023年04月   Computational Visual Media  

  • Best Poster Award

    2023年03月   3rd International Symposium on Intelligence Design (ISID)  

  • Top Downloaded Article

    2022年06月   Computer Animation and Virtual World  

  • Best Short Paper Award

    2021年10月   the IEEE Symposium on Visual Languages and Human-Centric Computing (VL/HCC 2021)  

  • VCショート発表賞

    2021年09月   第29回 Visual Computing 2021  

  • Best Short Paper Award

    2021年07月   NICOGRAPH International 2021  

  • Best Poster Award

    2021年03月   1st International Symposium on Intelligence Design (ISID 2021)  

  • VC論文賞

    2020年12月   第28回 Visual Computing (VC 2020)  

  • 優秀研究発表賞

    2020年12月   一般社団法人情報処理学会コンピュータグラフィックスとビジュアル情報学研究会   セルアニメ作品の三次元的な矛盾に着目した2.5Dモデルの一検討  

  • 優秀研究発表賞

    2020年12月   一般社団法人情報処理学会コンピュータグラフィックスとビジュアル情報学研究会   奥行方向への移動に対する非写実的なパースのインタラクティブな設計手法  

  • Top Downloaded Paper 2018-2019

    2020年05月   Computer Animation and Virtual Worlds  

  • Best Paper Nominee

    2019年07月   CASA2019  

  • 優秀論文賞

    2018年07月   画像電子学会  

  • Best Paper Awards: Gold

    2017年12月   ACE 2017  

  • 学生優秀発表賞

    2017年08月   一般社団法人映像情報メディア学会  

  • 優秀研究発表賞

    2017年06月   一般社団法人情報処理学会コンピュータグラフィックスとビジュアル情報学研究会 Visual Computing / グラフィクスとCAD合同シンポジウム  

  • 情報処理学会論文誌ジャーナル/JIP特選論文

    2016年05月   情報処理学会  

  • 西田賞

    2014年07月   画像電子学会  

▼全件表示

 

論文

▼全件表示

共同研究・競争的資金等の研究課題

  • 三次元モデルに付与されたテクスチャを考慮した形状処理技術

    日本学術振興会  科学研究費助成事業

    研究期間:

    2024年04月
    -
    2028年03月
     

    福里 司

  • スケッチ画を入力とした対話的な3次元形状設計におけるデータ駆動型システムの開発

    公益財団法人 柏森情報科学振興財団  研究助成

    研究期間:

    2022年01月
    -
    2023年12月
     

  • 現場で働くプロの手描きデザイナのための対話的なセルアニメ制作支援ツール

    日本学術振興会  科学研究費助成事業

    研究期間:

    2019年04月
    -
    2023年03月
     

    福里 司

    　概要を見る

    本年度は主に、デザイナがデジタルイラストの線画を描く工程自体を支援する技術に着手した。綺麗な線画を描くには「完成図を想像するスキル」や「全体のバランス（大域特徴）を整えつつ、詳細な部位（局所特徴）を描くスキル」が求められる。しかし、これらの技術を取得するには数年単位の時間を要し、一般ユーザにとっては非常に難しいタスクである。そこで申請者は、ユーザがキャンバス上に描いたイラストの途中経過を基に、「ユーザが何を描きたいのか」をリアルタイムに予測し、大域的なガイダンスと局所的なガイダンスを生成するデータドリブンな手法を考案した。また、線画ガイダンスの生成に用いるデータベースを効率的に構築するために、写真やイラストから線画データを自動抽出するタスクに特化した機械学習モデルや、複数の線画データの間を滑らかにつなぐ中割り画像を設計するための「対応付け」タスクに特化したユーザインターフェースも考案した。更に、これらの研究の技術基盤となっている画像処理や機械学習モデルのプログラムを開発する工程自体を効率化するプログラミング支援技術や、前年度に着手した3Dモデリング支援ツールの拡張技術についても検討した。
    それぞれイラスト制作やプログラミング、2D/3Dモデリングの経験を持つ被験者を対象としたユーザテストをオンラインで実施し、提案手法の有用性を示した。これらの研究成果は、国際ジャーナルや国際学会にて発表した。

  • ラフスケッチ画から高品質な3D キャラクタを制作するための深層学習フレームワーク

    公益財団法人立石科学技術振興財団  研究助成(A)

    研究期間:

    2020年04月
    -
    2022年03月
     

  • 物理シミュレーションを用いたアニメ制作を効率化するディレクタブル制作支援システム

    日本学術振興会  科学研究費助成事業

    研究期間:

    2015年04月
    -
    2017年03月
     

    福里 司

    　概要を見る

    申請者は「アニメや漫画のような個性豊かな映像作品を効率的に制作するため、専門的なスキルを持たないユーザ（デザイナ）の直観的な操作で作品を制作するために，前年度に引き続き「アーティスト（アニメータ）の感覚的なスキルの定量化の技術」「3Dモデリングシステム」の改善に加えて，複数のプロジェクトに従事した．
    一つ目は、原作となる漫画作品のコマを基にアニメ作品のキャラクタの動きやカメラワーク演出を決定する事に着目し，「あらゆる動作にはキメとなる瞬間（フレーム）が存在する」を立てた．その仮定を基に，原作漫画のコマ割りとアニメ作品との相関関係の分析を行った．この結果を用いて，任意の動画から漫画を制作することが可能となった．更に言語学や心理学の分野で議論されていた「音象徴」の理論を利用し、アニメ作品の擬音語を数値化することで，任意のシーンに最適な擬音語を決定する手法も同時に開発した．
    二つ目は「3Dモデルを作るための新たなモデリング方法」である。従来のスケッチ（輪郭線ベース）、画像をトレースするモデリングと異なり，提案する操作方法は画像上に複数の点群を配置するだけのものである．プロのデザイナ（3DCGの専門知識なし）やCGモデラ（3DCG作品の制作経験有）を対象としたユーザテストを行った．ユーザテストの内容としては，(1)提案システムの使いやすさの検証,(2)生成結果に要する時間、満足度を調査するものである。その結果、提案するモデリング手法は、特に簡易的な3Dモデルの制作に対して有効性を示した．
    更に、申請者は共同研究として「キャラクタの二次動作を生成する手法」「衣服モデリング」「イラストを実写の人物に変換する手法」にも着手した．

産業財産権

  • 矯正目標頭部３Ｄデータを生成するソフトウェア、方法およびプログラム

    福里 司, 大野 秀晃

    特許権

  • 口唇アニメーション生成装置及び口唇アニメーション生成方法.

    森島繁生, 古川翔一, 福里 司

    特許権

  • 3d modeling by tracing 2d image ui

    Tsukasa Fukusato, Daichi, Ito, Radomir Mech

    特許権

  • 3D model generation from 2D images

    Ito Diachi, Mech Radomir, A Carr Nathan, Fukusato Tsukasa

    特許権

  • Erzeugung eines 3-D-Modells aus 2-D-Bildern

    Daichi Ito, Radomir Mech, Nathan A. Carr, Tsukasa Fukusato

    特許権

  • 根据2d图像的3d模型生成

    伊藤大地, R·米克, N·A·卡尔, 福里 司

    特許権

  • 3D Model Generation from 2D Images

    Daichi Ito, Radomir Mech, Nathan A. Carr, Tsukasa Fukusato

    特許権

▼全件表示

 

現在担当している科目

▼全件表示

 

他学部・他研究科等兼任情報

  • 理工学術院   大学院基幹理工学研究科

学内研究所・附属機関兼任歴

  • 2023年
    -
    2024年

    理工学術院総合研究所   兼任研究員

特定課題制度（学内資金）

  • 漫画作品を対象としたデザイン支援技術の開発

    2024年  

    　概要を見る

    Converting video sequences into comics is a powerful way to efficiently understand their stories and enables people to have unique experiences due to the different sizes and shapes of comic panels. However, compared to comics, video sequences contain temporal information about the story, so important information about the story may be lost when making comics. Then, in recent years, comic designers have extended the traditional comics to past video segments of a few seconds onto each comic panel instead of static images, called “dynamic” comics. The advantage of dynamic comics is that characters’ physical/emotional movements and camera work in videos can be easily represented. In addition, dynamic comics can create a multimodal narrative space where time and space collaboratively influence the unfolding of the story. However, even though various algorithms have been proposed for automatically generating standard comics (= static comics) from image/video sequences, it remains challenging to make dynamic comics. The main reason is that it requires special skills (i.e., image/video manipulation while imagining compositions and final designs) and users must repeat (1) switching between video editing tools and image editing tools and (2) checking results until the user is satisfied, which is a time-consuming and tedious process. On top of that, the state-of-the-art technologies using artificial intelligence methods fall short in interpreting users’ detailed intentions in video editing and comic layout creation, and the generated results may lack precise control capabilities. Therefore, the present paper aims at reducing the manual effort required to make dynamic comics. This research proposes a first-step system that enables users, even if non-professional users, to interactively design dynamic comics from video sequences, by integrating a simple video editor into a comic layout editor. First, users manually prepare video segments on the video editor and make comic layouts using a parametric model. Then, the system automatically assigns the video segments to each panel. Our system can combine various existing methods such as automatic segmentation. 

  • 現場で働くプロの手描きデザイナのための対話的なセルアニメ制作支援ツール

    2023年  

    　概要を見る

    This research focused on a technique for designing character using inbetween charts. Inbetween charts are a familiar tool in cartoon production; they are used to show how many inbetweenings go between each keyframe. Typically, inbetweenings are not drawn for all 60+ frames required for one second of animation, and most movements can be done with fewer drawings per second. In addition, to vary the speeds of character movement, animators often place inbetweenings at different intervals on the chart. This technique is called ``the illusion of movement,'' which is a hand-drawn-cartoon-specific characteristic that differs full-CG animation (60+ fps). Digital 2D animation techniques such as shape interpolation methods have increasingly been adopted around the world. However, to our knowledge, no similar software exists that can support inbetween chart design; therefore, digital animators working in cartoon production manually make inbetweenings for cutout animations as follows. (1) First, they render many images of intermediate shapes generated using the above methods, (2) import them to software for digital motion compositing and editing, and (3) select several images among them as a post-process. This approach requires the repetition of the process of converting the selected images to video and checking it until the animator is satisfied. Therefore, we propose an interactive tool to intuitively make inbetween charts, inspired by cartoon animators’ techniques. Given several keyframes, this system constructs trajectory-guided sliders that enable users to directly adjust inbetween values on a screen. In addition, these sliders can visualize simple inbetween timings to provide guidance on cartoon-like motions, such as animating ``on twos'' and ``slow-in/out'' in the background of the slider. This method is simple enough to easily implement in existing animation-authoring tools. We conduct a user study with novice and amateur users and confirm that the proposed slider is effective for manually constructing the inbetween charts envisioned by the users.

  • 創造的な思考を促進するイラスト制作システム

    2023年  

    　概要を見る

    To build a system that creates high-quality illustrations imagined by users, as a first step we develop an AI system to generate photorealistic images (e.g., facial images) from rough illustrations. Synthesizing photorealistic facial images from monochromatic rough illustrations is one of the most fundamental tasks in the field of image-to-image translation. However, it is still challenging to simultaneously consider (1) high-dimensional face features such as geometry and color, and (2) characteristics of input sketches. Existing methods often use sketches as indirect inputs to guide AI models, resulting in the loss of sketch features or in alterations to geometry information. This research proposes an LDM-based network architect trained on the paired sketch–face dataset, named ``Sketch-Guided Latent Diffusion Model (SGLDM).’’ We first apply a Multi-Auto-Encoder (AE) to encode the input sketch from the pixel space to a feature map in the latent space by dividing the sketch into several regions, enabling us to reduce the dimensions of the sketch input while preserving the geometry-related information of the local face details. Next, we construct a sketch-face paired dataset based on an existing method that extracts the edge map from an image. In addition, we augment our dataset to improve the robustness of the SGLDM to handle arbitrarily abstract sketch inputs. The evaluation study shows that the SGLDM can synthesize high-quality face images with different expressions, facial accessories, and hairstyles from various sketches having different abstraction levels.