情報理論 入門 オススメ本・動画 シャノンの情報理論を学ぶ

情報系の人間なら情報理論の基本は知っておくべきでしょう。

情報理論は情報をいかに正しく効率よく伝えるかという分野です。

そこ専門としない人もプログラマーならその基本は知っておかなくてなりません。

情報理論はそこまで難解な概念ではないので気負わずに勉強しましょう。

情報理論の講義動画はNAIST(奈良先端大大学院)の授業アーカイブの情報科学研究科にありまして、2016,2017年のは全八回で基本的なことを扱っていて、2012年は13回分あってもう少し突っ込んだ内容も扱っています。

はじめての人はとりあえず2017,2016年のを見てみるといいと思います。

NAISTには他にもいろいろ公開されているので見てみるといいと思います。

library.naist.jp

符号理論も見てみるといいでしょう。英語ですが・・・

情報理論

情報理論 (ちくま学芸文庫)

１番読みやすい本です。

独学初心者でも普通に読めます。

NAISTの動画を見ておけばつまることなくすぐに読み終わると思います。

文庫ですが、非常によくまとまっているので１番最初に読むことをおすすめします。

通信の数学的理論

通信の数学的理論 (ちくま学芸文庫)

情報理論の父シャノンの原論文"A Mathematical Theory of Communication"にウィーバーの解説をつけたものです。

非常に有名な論文ですの、読んでおくべき本です。

必ずしも読みやすいとは限りませんので、情報理論の基本を勉強してから読むのがいいです。

こういう文庫は本当にありがたいですね。

情報理論と符号理論

情報理論と符号理論

こちらも基本的な内容を扱っている本ですが、数学がある程度できる人でないと厳しいかもしれません。

まあでもこのぐらいの数学に詰まっているようだと前途多難ですので数学をちゃんと勉強した方がいいでしょう。

数学をちゃんと勉強している人は情報幾何学の本も読むことを強くおすすめします。

情報幾何の方法

情報幾何の方法【応用数学[対象12]】 (岩波オンデマンドブックス)

有名な甘利先生の本です。

入門書としてはよくまとまっていると思います。

が、情報幾何とある通り、幾何学の知識がある程度ないとまず理解できないでしょう。

まあ、数学科じゃない人も幾何学ちゃんと勉強しないといけません。

情報幾何学の基礎

情報幾何学の基礎 (数理情報科学シリーズ)

こちらもよくまとまっていて、読みやすい方だと思います。

幾何学を勉強してから読みましょう。

幾何学の基本は東大の数理ビデオアーカイブで学べるのでぜひ参照してください。

情報理論は知っていたからといってプログラマーとしてなにかプラス要素になるかというと微妙なところですが、このぐらいは知っていないと恥ずかしいところなので、基本ぐらいはやっておきましょう。余裕のある人は情報幾何学の基本もやってみるといいと思います。

参考になりそうな過去記事

www.neuralsparrow.com
www.neuralsparrow.com
www.neuralsparrow.com