情報って、ちゃんと定義しようと思うと難しいですよね。もちろんエスタブリッシュされた定義はいくつか存在するんですけど、そういう定義だとしっくりこない点も結構あるんです。でも、グレゴリー・ベイトソンの定義はものすごく深いです。Difference which makes a differenceが彼の定義です。これはすぐにはわかりずらい。これを少し考察していこうと思います。
ベイトソンの上記の定義は、情報は受け取る側の存在があってこそ成立する、という意味が込められていると思います。つまり、違いを認識する主体の中に違いを認識する仕組みがあるからこそ、違いが認識される、ということになります。こういう例を考えたらわかりやすいかもしれません。白から黒の単色の階調で塗り分けられた沢山の画素の集合を考えてみましょう。画像の中心付近の画素の色は黒く塗られており、周囲に行くにしたがって同心円状に黒から徐々に白に近づいていくように塗り分けられている画像を考えてみます。私たち人間がそれを眺めたとき、おそらく一瞬にして、黒い円の領域を周囲の白の領域と区別をして、おおよそ円の部分はどこまで、ということを無意識のうちに決めることができるのではないでしょうか。ところが、この処理をコンピュータのアルゴリズムとして処理させようとすると意外に面倒になります。コンピュータは、画素の色を単なる数字として認識しており、画像は数字の羅列にしかすぎません。ですからこの数字の羅列を対象にして、円の領域と周囲の領域とを図と地のように別な対象として認識させるためには、ある閾値が必要となります。つまり、対象を円と周囲の領域として切り分ける（つまり違いを見出す）ためには、その違いを決める違い（つまり閾値）が必要になる、ということになります。