In this research, we study a privacy-preserving linear regression analysis. We consider the situation that a number of users have different data. They don’t want to show their data each other, but they want to calculate a certain estimator using all users data. Although some protocols conventionally proposed, we proposed some kind of protocols of distributed calculation method for practical use. we became privacy-preserving linear regression analysis available, if there is multicollinearity ,or sparse data

We proposed the accumulation method, which is a language-independent text classification method that is based on the character N-gram. The accumulation method does not depend on the language structure, because this method uses the character N-gram to form index terms. If text documents are expressed in Unicode, then the accumulation method can classify documents using the same algorithm. Therefore, we classified English, Japanese, Korean, and Chinese text documents. As a result, the highest macro-averaged F-measures of the proposed method were 94.5% for the English Reuters-21578, 88.5% for the Japanese CD-Mainichi 2002 data set, 90.2% for the Korean Hankyoreh 2008 data set, and 92.6% for the People's Daily 2009-2010 data set. Thus, we obtained good results for these languages. Moreover, we were able to construct a mathematical model of the accumulation method and were able to clarify the mathematical meaning.

アンケート調査は企業や教育機関など様々な組織の意思決定に活用されている．特にWebアンケートはコストが安いことから多くの場面で用いられているが，不良回答が含まれる事も多く集計結果の信頼性に課題がある．そのため，従来よりダミーの追加設問を用いることで不良回答を検出する手法が考案されている．しかし，不良回答の検出精度に関しては一部の条件下でのみ理論評価が行われているだけで不明な点も多い．そこで本研究では従来と異なる条件のもと，不良回答混入モデルを仮定することで，不良回答検出手法の検出率についての理論評価を行う．

近年，音声言語理解（SLU）では多言語モデルの研究が進んでおり，英語以外の言語，特にSLUのデータが不十分な言語で有効な手法だとされている．一方で，日本語や韓国語など一部の言語に対しては多言語モデルの性能は低く，転移学習の効果が相対的に低いことが指摘されている．本論文では，日本語のみで事前学習した日本語ジョイントSLUモデルを開発し，従来の多言語モデルとの性能比較を行う．実験結果により，我々の提案する日本語モデルは，意図分類精度，スロットフィリングF1でより高い性能を達成することを示す．加えて，分かち書き，ジョイントモデルの有効性の検証を行い，日本語SLUモデルの性能向上の検討を行う．

機械学習における予測モデルでは，ニューラルネットワークのように表現力の高い複雑な関数系を仮定してデータから学習するアプローチが主流である．しかし，予測精度の高いモデルを学習するには大量のサンプルが必要であったり，パラメータのチューニングが難しいなどの問題がある．本研究では，正則化最小二乗法を利用することで，様々な基底関数を動的に選択しながら予想精度の高いモデルを構築するアルゴリズムを提案する．そのもとで，いくつかの実データを用いて提案アルゴリズムの評価を行う．

刑事裁判例研究では法律専門家が大量の裁判例を読み込み，各犯罪の成立要件（構成要件）に該当する部分を抽出し比較する必要があるが，現状はこの作業を人手で行う必要がある．研究では，刑事裁判例研究の作業効率の改善のために，裁判例から各構成要件に該当する部分を抽出する．抽出は事前学習済みのBERTを用いて各構成要件と裁判例内の文章とのコサイン類似度を計算し，類似度の上位を各構成要件に該当する部分と判断する方法で行う．コサイン類似度を計算する際により典型的な裁判例から平均ベクトルを作成し用いること，抽出部分は各構成要件で重複しないこと，抽出順の変更を行うこと等により，抽出精度の改善が見られた．

Online surveys are very useful for planning and verifying policies in many fields such as marketing because of their high cost-effectiveness and ease. However, due to difficulties to conduct it by random sampling, the survey results often contain selection bias. To cope with this problem, the method has been proposed by modeling the occurrence of selection bias and correcting it based on statistical decision theory. To apply this method to analyzing online surveys, it is necessary to put it into a specific model and examine its performance. In this study, we consider correcting selection bias in online surveys in which the response is binary and covariates are represented by continuous values, and assume logistic regression model as a data generation model. Then, we develop a correction method using a selection bias correction framework based on statistical decision theory. We also clarify its properties in numerical experiments on artificial data.

刑法の研究では、「犯罪になりうる行為のうち、裁判所が実際に処罰しているのはどの範囲か」を客観的に把握することを目的として、裁判例の分析を行っている。裁判例は大量のテキストデータであり内容も千差万別であるが、分析に際し、いかなる類型についてどのような根拠で有罪としているかを分類するという事前作業が行われる。これら事前作業は一般的に専門家による読解と整理により行われており、人的コストが大きい。そこで、本研究では、刑法研究の作業効率を改善するため、この事前作業を自動化する支援システムの開発を行う。代表的な刑法裁判例をもとに提案システムによる分類を行い，事前作業としての要件を満たしているか検証を行う。

近年，Webアンケート等によるアンケート調査が様々な場面で活用されている．しかし，Webアンケートには不良回答が混入することが多く，アンケートの信頼性に問題がある．不良回答に対する一般的な対処方法として，アンケート設計時に特殊な設問を追加することで不良回答を検出する手法が提案されているが，検出の精度についての議論は少ない．そこで本研究では，不良回答混入モデルを仮定したもとで，不良回答検出のためのアンケート設計方法の統一的な枠組みを示し，いくつかの具体的な設計方法について検出誤り率の評価を行う．

中国語と日本語は同じ漢字を使用する言語であるため同形語が多数存在する．その中には，同じ意味を表している同形同義語もあるが，意味の異なる同形異義語も多数存在する．そのため，中国人日本語学習者が日本語文章を作成する際，同形異義語を中国語の意味を用いて誤用しやすい傾向がある．このような文章は日本人が読むと違和感を感じるが，文法上の誤りがない場合一見して誤っていることが分かりにくい．そこで本研究では，中国人日本語学習者の学習支援を目的とした，日中同形異義語誤りの自動検出方法を検討する．事前学習済みのBERTと日中同形異義語の辞書を用いた，誤り検出アルゴリズムを提案し，評価実験により有効性を検証する．

The Center for Data Science at Waseda University offers many full-on-demand courses related to data science, including statistics and machine learning. Since more than 10,000 students take these courses throughout the year, several faculty members work together to create the course content for a long time. The created contents are used in classes and in various ways, such as for students' self-study. This presentation will introduce the content creation method and its usage.

Waseda University has established Waseda Data Science Consortium, and has been engaged in various initiatives in collaboration with companies. In this presentation, we will introduce some examples of these activities. Then, the future collaboration between universities and companies in the field of data science will be discussed.

現在,文書作成ソフトには校正機能が備わっている.しかし,一般的な校正機能では,助詞,助動詞等の文法誤りの検出や,存在する単語であるかの検査は行うが,名詞や動詞,形容詞などにおける同音異義語の変換誤りは検出できない場合が多い.文章作成ソフトで作成された日本語文章において同音異義語の変換誤りは多く,これらを検出する機能は非常に重要な機能であると言える.本研究では,Word2vecを用いることで,文書中に出現した単語と周辺の単語との距離を算出し,同音異義語の変換誤りが無いか検出する方法を提案する.実際の新聞記事データに対し評価実験を行い,提案手法の有効性を検証する.

アンケート調査は無作為抽出を前提としている。しかし実際に無作為抽出を行うことは難しく、選択バイアスによって集計結果の信頼性が低下することが多々ある。選択バイアスに対する補正手法は従来よりいくつか提案されているが、どのような調査データにも対応できる万能な手法はなく、対象となるデータによって有効な補正手法が異なることが知られている。そこで本研究では、ある調査データに対してどの補正手法を用いるのが最適かを選択する手法について検討する。

近年、インターネット利用者の拡大を背景に、Webを利用したアンケート調査が広く行われている。webアンケートは「安く」、「早く」アンケート調査が実施できるという利点がある反面、回答者が正しく設問に回答しない、いわゆる「不良回答」が混入しやすいという問題がある。不良回答については回答時間をもとに識別を行う手法やアンケートの設問を工夫することで不良回答を検出する手法といった不良回答の除去方法について提案が行われてきた。本研究では不良回答のパターンを確率的にモデル化することで、アンケートに及ぼす不良回答の影響度合いを考察する。

珠算競技は，解答時間の早さと正答率の高さを競う競技である．しかし効率的な練習方法は確立しておらず，一般的には単調な反復練習のみが行われている．従来，わり算種目に対して機械学習を利用した効率的な練習問題の自動作成法が提案されているが，珠算には多くの種目が存在し，他種目にわり算の自動生成手法をそのまま活用することはできない． そこで本研究では，新たにかけ算種目に対して機械学習を用いた苦手問題の自動作成法を開発する．また，従来研究では被験者1名で実験していたのに対し，本研究では被験者を5名に増やすことで競技者間での特性の違いについての検証も行う．

近年,様々な場面でWebを利用したアンケート収集が行われている.Webアンケートは手ごろに行えるという利点がある反面,回答者が正しく設問に回答しない,いわゆる不良回答が混入しやすいという問題がある.通常,不良回答はルールベースで除去されるのが一般的である.また,アンケートの設問を工夫することで不良回答を検出しやすくする手法が提案されている.本研究では不良回答のパターンを確率的にモデル化することで,不良回答が含まれたアンケートデータに対し,集計値の信頼性が向上する手法を提案する.また,実際の大規模アンケートデータを用いた提案手法の有効性の検証を行う.

アンケート調査において，完全な無作為抽出を行う事は難しく，選択バイアスによって集計結果の信頼性が低くなることが多々ある．従来，選択バイアスが含まれるデータに対する分析手法として，傾向スコア法や回帰モデルを利用した方法などが提案されている．しかし各々の手法がどのような状況において上手く補正できるかについて充分明らかにされていない．そこで本研究では，実際のアンケートデータを用いた実験を行うことで，各手法の性質を明らかにする事を目的とする．実際に集められた大規模なアンケートデータを利用し，疑似的に選択バイアスを発生させることで，各手法の性質を明らかにする．

珠算競技は解答時間の早さ、並びに正答率の高さを競う競技である。しかし確立された練習方法は存在しない。そのため、従来までの練習は単調なものであり、効果の善し悪しを理解しないまま継続されてきた。そこで本研究では効率の良い練習方法の確立を目的とする。まずはランダムに生成した練習問題の中から間違えた問題や、数字の並び・計算過程において苦手であると感じた問題のデータ化を行った。その元で機械学習法を用いた苦手問題の自動生成法を提案した。提案手法により生成される苦手問題を用いて練習を行い、その効果を検証した。

近年、様々な場面でWebを利用したアンケート収集が行われている。Webアンケートは収集コストが低く抑えられる反面、対象とする母集団からのランダムサンプリングとみなせない事が多く、集計結果の信頼性が著しく低い事が多々ある。通常、リサンプリングによりデータの補正を行うが、属性ごとのサンプルサイズが小さくなってしまい、十分な精度の集計結果が得られない場合がある。そこで、本研究では母集団における属性比率と、取得データの属性比率の偏りを補正することで、アンケートデータの信頼性を効率よく向上させる手法を提案する。また、実際のECサイトの購買データとアンケートデータを利用し、提案手法の有効性の検証を行う.

近年,統計学,機械学習の分野でスパース推定に関する研究が数多く行われている.その中で,従来多項式回帰モデルに対してスパース推定を行う研究が行われている.しかし,いずれの研究も最大次数を固定した場合しか扱っていない.そこで本研究では最大次数が未知の多項式回帰モデルに対してスパース推定を行うアルゴリズムを提案する.提案手法は従来のモデルを含むより広いクラスのモデルに対して用いることが可能である.また,提案手法を用いて人工データと実データに対して有効性の検証を行う.

This paper considers multi-label classification on statistical decision theory. In Label Power Set format, multi-label classification is equivalent to multi-class classification. However, the number of classes increases exponentially as elements in label set grow in number. Hence in case of many labels, a prohibitive computational cost problem occurs. To avoid this problem, some studies have been done and one of them used hierarchical structure. On the other hand, optimal classification method based on bayes rule has been attracted much attention recently. We apply this optimal classification method based on bayes rule to multi-label classification problem. Moreover, assuming hierarchical structure on labels, we propose efficient classification algorithms which reduce computational cost to linear order on the number of elements in label set. Since optimal classification based on bayes rule differs calculation formula depending loss function, we present algorithms in case of O-1 loss and hamming loss, respectively.

Outliers are often included in statistical data. The statistics analysis result is influenced from outliers. Therefore, there are many researches for handling of outliers. Box modeled outliers using mixture distribution. There are many researches that aim parameter estimation or outlier detection about this model. In this paper, we treat prediction problem about this model. First, we present an optimal prediction method with reference to the Bayes criterion in this model. The computational complexity of this method grows exponentially. Next, we propose an approximation algorithm reducing the computational complexity using EM algorithm, and evaluate this algorithm through some simulations.

In this paper we treat universal source coding when the parameters of the probabilistic model of source are known. Bayes code is one of the wellknowm universal codes. Bayes code has Bayes optimality in point of minimization of redundancy. Recently, many researches of Bayes code for nohstationary sources are done. Researches for sources with piecewise constant parameters are one of them. Each sections are visible to stationary sources. But these sources have abruptly changing parameters. And they are treated as nonstationary sources. But the Asymptotic character of mean redundancy for this source is not known. In this paper, we evaluate asymptotic mean redundancy of this source with the conditions of change number is not kown. And we show that Bayes code has universality with some condtions.

Gaussian and Liner state space model is one of time series analyses. Kalman Filtering is the method to obtain the Bayes Inference on valiances known Gaussian and Liner state space model. Monte Carlo Filtering is the method to calculate the estimated value on general state space model. When we execute such analysis, there sometimes exist plural time series at the same time. In such case, we should calculate the estimated value from these correlated series. In this paper, we propose the expanded state space model, which includes these time series. Next, we propose how to calculate the estimated value by using information of all time series. Morever, to make sure that our proposition is effective; we prove that the expectation of our predicted risk is smaller than that of single time series. We also show some experimental results by simulation.

　様々な低品質データに対するデータ解析手法の開発を目的とし研究を行った．まず，ラベルにノイズを含む分類問題に関する研究を行った．誤りや欠損など様々なノイズ混入を一般的に表現可能なモデルを提案し，それに対応する分類アルゴリズムの提案を行った．次に，Web調査などのランダムサンプリングの前提が崩れているアンケートデータを用いて，母集団の回答分布を推定する研究を行った．最後に，重回帰分析におけるスパース推定について研究した．説明変数に複雑な交互作用や，高次の項を含む多項式回帰モデルにおいて，最大次数が未知の場合のスパース推定アルゴリズムを提案した．それぞれの研究成果については国内学会で発表を行った．

膨大な量のディジタルデータが流通する現代において，データ圧縮（情報源符号化）技術は，ネットワーク社会を支える重要な基盤技術のひとつとなっている．現在，主に使われているデータ圧縮技術は80 年代にZiv らによって提案されたLempel-Ziv 法(LZ 法)を基礎においている．具体的には，gzip などの圧縮ツールに用いられている手法である．LZ 法が提案されて以来，LZ法をベースにした改良法の研究が数多くされてきたものの，90 年代後半になると一定の成果を得たことで大きな進展はなくなった．また情報ネットワークの高速化に伴い，アルゴリズムの改善によるメリットが薄れてきたため，圧縮技術に関する研究は1 度は収束を迎えたかのように見えた．しかし近年，ネットワークの高速化が頭打ちになりつつある中，クラウドコンピューティングの発達やディジタルコンテンツの大容量化により，ネットワークトラヒックやサーバの記憶容量は増加の一途を辿っている．そのため，データ圧縮技術のさらなる発展が求められるようになり，今後のネットワーク社会における重要な課題のひとつであると考えられる．データ圧縮アルゴリズムは，圧縮対象となるデータの出現構造に対し，陽に確率モデルを仮定するアルゴリズムと，陽には仮定しないアルゴリズムに分類することができる．前者にはCTW法やベイズ符号など，後者にはLZ 法やその改良法などが含まれる．圧縮アルゴリズムの性能評価は，データのサイズを伸ばしていった時に，圧縮後のファイルのサイズが，圧縮の理論限界であるエントロピーへ収束するのか，また収束する場合にはどれくらいの速さで収束するのか，によって評価される．確率モデルを陽に仮定するアルゴリズムは，エントロピーの収束速度が非常に速い代わりに，仮定した確率モデルに対してしかエントロピーへの収束を保証できない．それに対し，LZ 法などの確率モデルを陽に仮定しないアルゴリズムは，非常に広いモデルのクラスに対してエントロピーへの収束が保証できる代わりに，その収束速度は非常に遅く，有限時点での圧縮性能は必ずしも高くない．現在主流として用いられている圧縮技術のほとんどは，LZ 法をベースとした確率モデルを陽に仮定しないアルゴリズムを用いているため，汎用性は高いものの個々のファイルに対しての圧縮性能は必ずしも高いとは言えず，圧縮率の改善の余地はまだまだあると考えられる．その一方，ベイズ符号などの確率モデルを仮定するアルゴリズムに関する研究は，限られた確率モデルに対する研究しか行われておらず，実用的なデータ構造に対する研究が不十分であるため実用化には至っていない．そこで本研究では，高圧縮率である確率モデルを仮定した圧縮アルゴリズムを，実用的なデータ構造に対して適用することを目的として研究を行った．特に従来テキストデータに対して，非常に高い圧縮率を持ち，理論的最適性の保証することのできるベイズ符号を他のデータ構造に対し拡張し適用を行った．その結果，アルゴリズムを実装する際，ベイズ符号が仮定する確率モデルと，真の確率構造がことなる場合においても，ベイズ符号は一定の圧縮性能を持つ事を理論的に示すことができた．

情報ネットワーク社会において，情報の圧縮技術は欠くことのできない基盤技術である．現在、主に使われている圧縮技術は80年代にZivらによって提案されたLempel-Ziv法(LZ法)を基礎においている．具体的には，gzipなどの圧縮ツールのアルゴリズムで使われている．LZ法が提案されて以来，LZ法をベースにした改良法の研究が数多くされてきた．90年代後半になると，一定の成果を得たことで，大きな進展はなくなり，また情報ネットワークの高速化に伴い，多少の改善によるメリットが薄れてきたため，圧縮技術に関する研究は，一度は収束を迎えたかのように見えた．しかし近年，情報ネットワークの高速化が頭打ちになりつつある中，情報コンテンツの大容量化の速度は依然衰えず，圧縮技術の重要性が増しつつある．そのため，圧縮技術の基礎理論のさらなる発展は今後のネットワーク社会における重要な課題のひとつである．90年代に研究されていたベイズ符号という符号化法がある．この符号は，理論限界を達成することが示されており，他の符号よりも高い圧縮率で圧縮することが可能であることが知られている．従来，ベイズ符号やその他の符号に関する研究では定常な情報源に対しての研究がほとんどであり，より一般的な情報源である非定常情報源に対する研究は少ない．実際に圧縮するデータが非定常性を有することは充分に考えられ，実用化に際しては非定常な情報源に対しても性能が保証される符号の構成が必要となってくる．そこで本研究ではある非定常な情報源のクラスに対し，効率的なベイズ符号の構成法を提案し，それに対する漸近的な性能評価を行った．