それは偶然なのか？

（ある開発現場にて）
「これは、従来品より20%の機能向上が見込めます。」
「それは頼もしい。では、早速最終試作に取り掛かってくれ。」

やがて、試作された試作品は従来品と同等の機能であった・・・。

開発現場ではよくある話であるが、ある現場では、ほとんど起きることがない。それは、統計学の知識が豊富な職場である。

○何（どの因子）がその向上に寄与したか、
○データのn数は？
○それは有意性があるのか？
○またはいくつかの因子の組み合わせで向上しているのか？
などなど・・・

そうである、たまたまそうなったことを嫌うのである。

例えば、標本の例として、下の図を例にすると（どちらも平均は100）：
●もともと平均100で、左のグラフの特徴を持つ標本が改良され120になった場合
●もともと平均100で、右のグラフの特徴を持つ標本が改良され120になった場合
では、どうだろうか？

何かそれが確からしい検証をしなければならないと思うのが普通である。



こういったことを調べるのは主に「仮説検定」といわれ、種々の統計的手段において、検定される（『ビジネス統計学【上】』では第七章、八章）。

○向上した（とされる）データの平均値に有意性はあるのか？
○バラツキは大きくなったのか？小さくなったのか？

などを検定する。

そして、例えば「有意水準5%において有意です。」などとしてアウトプットさせる。
有意水準*については、経験的には、一般的には5%、開発に関わる実験では10%、MBA時代の文献（人文、社会系）では1%が多く、特にこれでなければならない数値はない。
*受け入れられる水準は様々です。


・・・もしかしたら、そのデータは偶然かも知れません。。。


＜参考資料＞


photo by Maco