something eureka

思索のヒント、ブックレビューなどを中心に

データは万能ではない

ビッグデータの流行は、メリットも多い一方で、データを過大評価しがちであるという危険性も見逃せません。相関関係が大量にあぶりだされてくることで、何だかわかったような気になってくるものです。

予測は、それが重要であるのと同じ理由で難しい。客観的な現実と主観的な現実が交差するところにあるからだ。シグナルをノイズと区別するためには、科学的な知識とともに自己認識も必要だ。いうなれば、予測できないものを受け入れる冷静さ、予測できるものを予測する勇気、そしてその違いを見分ける知恵、である。 シグナル&ノイズ ネイト・シルバー著

問題には大きく二つの種類があります。一つには過去から学ぶべき問題であり、もうひとつは未来に仕掛けていく問題です。当然、予測を通じて見出していけるのは前者の問題系です。いわゆる現状延長のシナリオと言い換えられるかもしれません。

一方で、不連続な状況に対しては、データにできることには限りがあります。客観的根拠としてデータを用いる利点に対し、安易なデータありきの視点は、誤用や錯誤を招く可能性があります。

意思決定の質を担保するデータ量の拡大は好ましいものではありますが、よほど機械的に選別できる問題でもない限り、自ずと意思決定が促進するわけではありません。 データの圧に決断能力が押し負けてしまわぬよう、課題と数値を紐づける選球眼が問われています。