野村 亮 (ノムラ リョウ)

写真a

所属

附属機関・学校 データ科学センター

職名

教授

兼担 【 表示 / 非表示

  • 附属機関・学校   グローバルエデュケーションセンター

学歴 【 表示 / 非表示

  •  
     
     

    早稲田大学   理工学部  

  •  
     
     

    早稲田大学   理工学研究科  

学位 【 表示 / 非表示

  • 早稲田大学   博士(工学)

経歴 【 表示 / 非表示

  • 2019年04月
    -
    継続中

    早稲田大学   データ科学センター   教授

  • 2018年04月
    -
    2019年03月

    専修大学   ネットワーク情報学部   教授

  • 2012年04月
    -
    2018年03月

    専修大学   ネットワーク情報学部   准教授

  • 2010年04月
    -
    2012年03月

    専修大学   ネットワーク情報学部   専任講師

  • 2008年04月
    -
    2010年03月

    青山学院大学理工学部助教

全件表示 >>

所属学協会 【 表示 / 非表示

  •  
     
     

    IEEE

  •  
     
     

    電子情報通信学会

 

研究分野 【 表示 / 非表示

  • 情報学基礎論   情報学基礎理論

  • 通信工学   通信・ネットワーク工学

研究キーワード 【 表示 / 非表示

  • 情報理論

  • 情報理論,シャノン理論

論文 【 表示 / 非表示

  • Source Resolvability and Intrinsic Randomness: Two Random Number Generation Problems With Respect to a Subclass of f-Divergences

    Ryo Nomura

    IEEE TRANSACTIONS ON INFORMATION THEORY   66 ( 12 ) 7588 - 7601  2020年12月

     概要を見る

    This paper deals with two typical random number generation problems in information theory. One is the source resolvability problem (resolvability problem for short) and the other is the intrinsic randomness problem. In the literature, optimum achievable rates in these two problems with respect to the variational distance as well as the Kullback-Leibler (KL) divergence have already been analyzed. On the other hand, in this study we consider these two problems with respect to f-divergences. The f-divergence is a general non-negative measure between two probabilistic distributions on the basis of a convex function f. The class of f-divergences includes several important measures such as the variational distance, the KL divergence, the Hellinger distance and so on. Hence, it is meaningful to consider the random number generation problems with respect to f-divergences. In this paper, we impose some conditions on the function f so as to simplify the analysis, that is, we consider a subclass of f-divergences. Then, we first derive general formulas of the first-order optimum achievable rates with respect to f-divergences. Next, we particularize our general formulas to several specified functions f. As a result, we reveal that it is easy to derive optimum achievable rates for several important measures from our general formulas. The second-order optimum achievable rates and optimistic optimum achievable rates have also been investigated.

    DOI

  • Stochastic Discrete First-Order Algorithm for Feature Subset Selection

    Kota Kudo, Yuichi Takano, Ryo Nomura

    IEICE TRANSACTIONS ON INFORMATION AND SYSTEMS   E103D ( 7 ) 1693 - 1702  2020年07月

     概要を見る

    This paper addresses the problem of selecting a significant subset of candidate features to use for multiple linear regression. Bertsimas et al. [5] recently proposed the discrete first-order (DFO) algorithm to efficiently find near-optimal solutions to this problem. However, this algorithm is unable to escape from locally optimal solutions. To resolve this, we propose a stochastic discrete first-order (SDFO) algorithm for feature subset selection. In this algorithm, random perturbations are added to a sequence of candidate solutions as a means to escape from locally optimal solutions, which broadens the range of discoverable solutions. Moreover, we derive the optimal step size in the gradient-descent direction to accelerate convergence of the algorithm. We also make effective use of the L-2-regularization term to improve the predictive performance of a resultant subset regression model. The simulation results demonstrate that our algorithm substantially outperforms the original DFO algorithm. Our algorithm was superior in predictive performance to lasso and forward stepwise selection as well.

    DOI

  • Overflow Probability of Variable-Length Codes With Codeword Cost

    Ryo Nomura

    IEEE TRANSACTIONS ON INFORMATION THEORY   65 ( 12 ) 8194 - 8206  2019年12月

     概要を見る

    Lossless variable-length source coding with codeword cost is considered for general sources. The problem setting, where we impose on unequal costs on code symbols, is called the variable-length coding with codeword cost. In this problem, the infimum of average codeword cost have already been determined for general sources. On the other hand, the overflow probability, which is defined as the probability of codeword cost being above a threshold, have not been considered yet. In this paper, we first determine the infimum of achievable threshold in the first-order sense and the second-order sense for general sources with additive memoryless codeword cost. Then, we compute it for some special sources such as i.i.d. sources and mixed sources. A generalization of the codeword cost is also discussed.

    DOI

  • Optimum Overflow Thresholds in Variable-Length Source Coding Allowing Non-Vanishing Error Probability

    Ryo Nomura, Hideki Yagi

    IEEE TRANSACTIONS ON INFORMATION THEORY   65 ( 12 ) 8213 - 8221  2019年12月

     概要を見る

    The variable-length source coding problem allowing the error probability up to some constant is considered for general sources. In this problem, the optimum mean codeword length of variable-length codes has already been determined. On the other hand, in this paper, we focus on the overflow (or excess codeword length) probability instead of the mean codeword length. The infimum of overflow thresholds under the constraint that both of the error probability and the overflow probability are smaller than or equal to some constant is called the optimum overflow threshold. In this paper, we first derive finite-length upper and lower bounds on these probabilities so as to analyze the optimum overflow thresholds. Then, by using these bounds, we determine the general formula of the optimum overflow thresholds in both of the first-order and second-order forms. Next, we consider another expression of the derived general formula so as to reveal the relationship with the optimum coding rate in the fixed-length source coding problem. Finally, we apply the general formula derived in this paper to the case of stationary memoryless sources.

    DOI

  • Source resolvability problem with respect to a certain subclass of f-divergence

    Ryo Nomura

    2019 IEEE INTERNATIONAL SYMPOSIUM ON INFORMATION THEORY (ISIT)     2234 - 2238  2019年

     概要を見る

    This paper deals with the source resolvability problem which is one of typical random number generation problems. In the literatures, the achievable rate in the source resolvability problem with respect to the variational distance as well as the Kullback-Leibler (KL) divergence have been analyzed. On the other hand, in this study we consider the problem with respect to a subclass of f-divergence. The f-divergence is a general non-negative measure between two probabilistic distributions and includes several important measures such as the variational distance, the KL divergence, the Hellinger distance and so on. Hence, it is meaningful to consider the source resolvability problem with respect to the f-divergence. We derive the general formula of the optimum achievable rate for a certain subclass of the f-divergence. Then, we reveal that it is easy to derive previous results from our general formula.

全件表示 >>

書籍等出版物 【 表示 / 非表示

  • 漸近正規性を用いた可変長無歪み情報源符号化の性能評価に関する研究

    野村 亮( 担当: 単著)

    早稲田大学  2007年12月

     概要を見る

    学位論文

Misc 【 表示 / 非表示

  • 「無歪み情報源符号化におけるオーバーフロー確率について」

    電子情報通信学会論文誌(電子情報通信学会)   J90-A ( 4 ) 292 - 304  2007年

  • “A Note on the ¥epsilon-Overflow Probability of Lossless Codes”

    NOMURA Ryo, MATSUSHIMA Toshiyasu, HIRASAWA Shigeichi

    電子情報通信学会論文誌   E90-A ( 12 ) 441 - +  2007年

     概要を見る

    In this paper, we generalize the achievability of variable-length coding from two viewpoints. One is the definition of an overflow probability, and the other is the definition of an achievability. We define the overflow probability as the probability of codeword length, not per symbol, is larger than eta(n) and we introduce the epsilon-achievability of variable-length codes that implies an existence of a code for the source under the condition that the overflow probability is smaller than or equal to epsilon.
    Then we show that the epsilon-achievabitity of variable-length codes is essentially equivalent to the epsilon-achievability of fixed-length codes for general sources. Moreover we show the condition of epsilon-achievability for some restricted sources given epsilon.

    DOI

共同研究・競争的資金等の研究課題 【 表示 / 非表示

  • 未知パラメータを含む情報源符号化問題に対する情報スペクトル的アプローチ

    基盤研究(C)

    研究期間:

    2018年04月
    -
    2022年03月
     

    野村 亮

     概要を見る

    本研究は,情報源符号化におけるいくつかの重要な問題設定を対象に,確率構造が未知の状況における高効率符号化に関する研究を行うものである.特に本研究ではこれらの問題において誤り確率を適切に設定すると確率構造が未知の状況が混合情報源を対象とする問題設定として表現できることに着目し特に混合情報源を対象とした解析に重点を置いている.平成31年度は以下の結果を得た.
    1. 誤りを許す可変長無歪み情報源符号化に関して
    前年度まで得られていた誤りを許す可変長コスト付き情報源符号化の一般公式に関して,同様の解析を展開して,楽観的な符号化設定に関する結果を得た.これらを合わせて国際的な英文論文誌に投稿し採録された.この結果はさらにマルチユーザの状況,すなわち補助情報を含む可変長無歪み情報源符号化問題に展開することが可能であることが分かった.
    2. 情報源Resolvability問題について
    情報源符号化問題と深い関連のある乱数生成問題の一つである情報源Resolvability問題において従来の評価尺度を含むf-ダイバージェンスを対象とした場合の情報源Resolvabilityレートの一般公式を導いた.昨年度の結果に続いて今年度はSmooth Renyiエントロピーと呼ばれる量を用いて表現できることが分かった.
    3. 情報源符号化問題と関連した仮説検定問題に対して,それを一般化した問題に対して同様の議論が展開できることが分かった.現在研究会等に投稿準備中である.

  • 未知情報を含む多端子情報理論の精密化

    基盤研究(C)

    研究期間:

    2014年04月
    -
    2018年03月
     

    野村 亮

     概要を見る

    情報理論に基つき確率構造が未知のネットワーク,特に代表的な通信の数理モデルである1.情報源符号化問題,2.通信路符号化問題,における高信頼符号化に関する研究を行った.これらの問題において誤り確率を適切に設定すると確率構造が未知の状況が混合情報源,混合通信路により表されることに着目し特に混合情報源,混合通信路を対象とした解析を行った.研究期間を通じては多対一および一対一情報源符号化モデル,一対一通信路符号化モデルに関する結果を得ることができた.

  • 確率的要素を含む情報セキュリティシステムの利便性と安全性からの最適化と統合評価

    基盤研究(C)

    研究期間:

    2013年04月
    -
    2016年03月
     

    松嶋 敏泰, 浮田 善文, 吉田 隆弘, 野村 亮, 須子 統太, 堀井 俊佑

     概要を見る

    確率的要素を含む情報セキュリティ問題に対し確率モデルにより定式化を行い,安全性や利便性等の評価基準を明確にし,最適な攻撃法や認証法等を理論的に明らかにした.個々の符号やシステムに対して安全性を評価するのではなく,統一的数理モデルの枠組のもとで安全性の理論的な限界を不変的に評価した.さらに,安全性と利便性のトレードオフ関係についても,理論的限界や最適性を明らかにし,情報セキュリティシステムの新たな評価指標を示した.また,学習理論や最適化理論等の周辺研究分野における等価な確率モデルを用いた問題の成果を応用することで,最適法を近似する高性能アルゴリズムを構成し,安全性や利便性を具体的に評価した.

  • 確率構造が未知のセンサネットワークにおける高信頼符号化に関する研究

    若手研究(B)

    研究期間:

    2011年
    -
    2013年
     

    野村 亮

     概要を見る

    センサネットワークへの応用を念頭に,多端子情報理論における確率構造が未知の問題について解析を行った.特に確率構造が未知の状況の一部は誤り確率を適切に設定すると混合情報源・混合通信路を用いて表すことができることに着目し,混合情報源に対する解析を行った.また,近年有限長解析や2次最適レートの評価と呼ばれる従来より精密に伝送可能な条件(許容可能な微少な誤り以下での通信を可能とするための条件)が注目を集めているが,本研究では一対一の情報源符号化問題,多対一の情報源符号化問題に対して混合情報源を仮定して2次最適レートを導出した.また一部の通信路符号化問題に対しても同様の手法が有効であることを確認した.

  • 確率推論アルゴリズムに基づいたストリーム暗号への統一的攻撃法に関する研究

    基盤研究(C)

    研究期間:

    2010年
    -
    2012年
     

    松嶋 敏泰, 浮田 善文, 野村 亮

     概要を見る

    ストリーム暗号の攻撃は疑似乱数生成器の攻撃に帰着される.本研究では,疑似乱数生成器に対する攻撃を「攻撃目標の変数の選択とその順序」と「攻撃のために用いる局所関係の選択」という2点で分類し,問題を統一的な視点から眺めることで,確率推論アルゴリズムに基づく精度の良い効率的な攻撃法を提案した.さらに,現在得られている確率推論の知見で攻撃が可能となる擬似乱数生成器のクラスを明らかにした.

全件表示 >>

講演・口頭発表等 【 表示 / 非表示

  • f-ダイバージェンスの部分クラスと情報源Resolvability

    情報理論研究会   (やまと会議室(奈良県))  電子情報通信学会  

    発表年月: 2018年07月

  • Source resolvability with Kullback-Leibler divergence

    2018 IEEE International Symposium on Information Theory   (Vail, Colorado, USA)  IEEE Information Theory Society  

    発表年月: 2018年06月

  • Overflow Probability of Variable-Length Codes Allowing Non-Vanishing Error Probability

    IEEE Information Theory Workshop 2017   (Kaohsiung, Taiwan)  IEEE  

    発表年月: 2017年11月

     概要を見る

    The variable-length coding problem allowing the error probability up to some constant is considered for general sources. In this problem, we focus on the overflow (or excess codeword length) probability. We also consider another expression of our general

  • 微少な誤り確率を許容する可変長符号化における楽観的符号化定理

    電子情報通信学会 情報理論研究会   (湯田温泉・山口)  電子情報通信学会  

    発表年月: 2017年09月

  • First- and second-order hypothesis testing for mixed memoryless sources with general mixture

    2017 IEEE International Symposium on Information Theory   IEEE  

    発表年月: 2017年06月

全件表示 >>

特定課題研究 【 表示 / 非表示

  • 確率構造が未知の乱数生成問題に対する情報スペクトル的アプローチ

    2020年  

     概要を見る

    本研究は情報理論で近年発展している情報スペクトル理論を様々な問題に適用することを目標としたものである.特に,2020年度は確率構造が未知の状況における乱数生成問題を対象とした.情報理論における代表的な乱数生成問題としては,任意の与えられた確率分布を一様乱数を用いて近似する問題(RESOLVABILITY問題)および,一様乱数から任意の確率分布を近似する問題(INTRINSIC RANDOMNESS問題)の二つがある.いずれの問題においても重要な指標は,確率分布の近似尺度と一様乱数のサイズである.確率分布の近似尺度としては従来変動距離やKullback-Leibler距離などがあるが本研究ではこれをより一般的なf-ダイバージェンスまで拡張し,その上で,目的とする確率分布と作成した確率分布の間のf-ダイバージェンスが一定値以下になるもとでの一様乱数サイズについて分析することが目標となる.2020年度はResolvability問題における最適一様乱数サイズについて,従来得られている表現と異なる数量で評価できることが分かった.また同様の考えをIntrinsic Randomness問題に対して適用可能であることも分かった.今後この研究を発展させて確率構造が未知のIntrinsic Randomness問題について調査する.

  • ユニバーサル予測問題に対する情報スペクトル的アプローチ

    2019年  

     概要を見る

    本研究は情報理論で近年発展している情報スペクトル理論をユニバーサル予測問題に適用することを目標としたものである.本年度はその前準備として任意の確率分布を一様乱数を用いて近似する問題を考えた.この問題は情報源resolvability問題と呼ばれている.情報源resolvability問題の近似尺度として従来変動距離やKullback-Leibler距離などがあるが本研究ではこれをより一般的なf-ダイバージェンスまで拡張し,その上で情報源resolvability問題と情報源符号化問題の関係について考察した.これらの成果は今後論文誌に投稿予定である.

  • データ伝送・保存における高圧縮無杢符号化に関する研究

    2002年  

     概要を見る

    本研究では無歪データ圧縮符号の性質に関して評価を行った.無歪データ圧縮符号は通常平均符号長を用いて評価されており,その評価基準の下では最適な符号が提案されている.平均符号長はあくまで平均を評価しているためひとつの情報系列を符号化した際にその符号長が短くなるという保証はない.その様な視点から近年オーバーフロー確率という評価基準が提案された.これは符号長がある値より長くなってしまう確率を評価したものである.本研究では,このオーバーフロー確率についてまずオーバーフロー確率が最小になる符号を提案し,それを用いてオーバーフロー確率が最小になる限界を評価した.また,平均符号長の意味で最適な符号のオーバーフロー確率を評価した.これらの成果は今後論文誌に投稿予定である.

 

現在担当している科目 【 表示 / 非表示

全件表示 >>

 

委員歴 【 表示 / 非表示

  • 2018年06月
    -
     

    電子情報通信学会 和文論文誌A編集委員

  • 2018年06月
    -
     

    電子情報通信学会 英文論文誌A編集委員

  • 2018年01月
    -
     

    Secretary of IEEE Information Theory Society Japan Chapter

  • 2015年05月
    -
    2017年05月

    電子情報通信学会 基礎・境界ソサイエティ特別委員

  • 2015年06月
    -
     

    電子情報通信学会 コミュニケーション委員会 委員

全件表示 >>

社会貢献活動 【 表示 / 非表示

  • 電子情報通信学会 基礎・境界ソサイエティ 情報理論とその応用サブソサイエティ委員

    電子情報通信学会 

  • 電子情報通信学会 英文論文誌A 小特集(情報理論とその応用)編集幹事

    電子情報通信学会 

  • 第35回情報理論とその応用シンポジウム プログラム委員会幹事

    電子情報通信学会 基礎・境界ソサイエティ 情報理論とその応用サブソサイエティ 

  • 電子情報通信学会 情報理論研究専門委員会幹事

  • 電子情報通信学会 英文論文誌A 小特集(情報理論とその応用)編集委員

    電子情報通信学会 

全件表示 >>