E資格 数学編 エントロピー??(ºωº)??

最近体調を崩していてまともに勉強できなくて、今日もそこまで勉強時間を確保できませんでした……(/･ω･＼)

やっと数学編最後の話題 情報理論について触れます。

そもそも情報理論とは

情報理論（じょうほうりろん、英: Information theory）は、情報・通信を数学的に論じる学問である。 応用数学の中でもデータの定量化に関する分野であり、可能な限り多くのデータを媒体に格納したり通信路で送ったりすることを目的としている。情報エントロピーとして知られるデータの尺度は、データの格納や通信に必要とされる平均ビット数で表現される。例えば、日々の天気が3ビットのエントロピーで表されるなら、十分な日数の観測を経て、日々の天気を表現するには「平均で」約3ビット/日（各ビットの値は 0 か 1）と言うことができる。

(Wikipedia参照)

なんとなくわかるような、、、、とりあえずなぜこの分野が大事か私なりに考えてみると

機械学習で、データの特徴量を見つけることで大幅に予測が変わりますよね。それは情報の価値がどれだけ大きいものかを指し示してるようなものですよね。でも情報の価値だったり情報量って一見してどう優れているのか？とかこれがどう影響を与えるのかなんてわからないですよね。

それを数学的に表して、学習の手助けだったりをするためにこれを学ぶのではないかと考えました(素人の考察なので正直間違っているとは思います)

他の方のブログが何倍も分かりやすく書かれていたため、私は学ぶ意義等に触れました。

目的がはっきりしていないと、なんでこれを学ぶのか、どうしてこれが必要になるのかという疑問を持ちながら勉強をしなくてはならず、その分その分野に対する理解もあまり進まないと考えたため、こういったものを書いてみました。 来月からkaggle等をしっかりやり込むための準備期間だと思いながら、勉強を頑張っていきます٩(｡•ω•｡)وオー！

情報理論を学ぶ上でお世話になったサイト様です。

(https://qiita.com/g-k/items/21574795b6a8db51f912)