ABテストで使える、統計的有意差とは？

広告のABテストや、LPのABテストをした時ににどっちが良かったか振り返ると思いますが、微妙な差だったりすることがあると思います。

CTRがちょっとだけ高い、CVRがちょっとだけ高い。

そんな時、これって誤差じゃないの？って思ったり、社内で報告した時に上司から「それたまたまじゃない？」と言われたことないでしょうか？

そんな時に今回ご紹介する「統計的有意差」を使うと、根拠をもって差があるということができます。

統計的有意差とは

統計的有意差とはコトバンクから引用すると以下になります。

統計上からは偶然に起こったとは判定できない差のこと。

つまり、その差が偶然や誤差ではないということですね。

有意差があれば、CTRの差やCVRの差が偶然やたまたまではなく、その２つには差があるよと言うことができます。

計算式を使ったり、エクセルの関数を使う方法もあるようですが、私も統計学に精通しているわけではないので、正直わかりません。
ただし、みなさまご安心ください。すでに以下のようなサービスがネットで使えます。

使いやすい方を使えば良いと思います。

これらのツールを使って「有意差あり」となれば根拠をもって両者の間には差があると言えます。
これまでABテストでこういった見方をしたことがなかった方は、一度使ってみてください。

ではまた。

前職は大手ネット広告代理店のインターネットプロモーション部門の部長。マネジメント兼プランナー／ディレクターとして、SEM、ディスプレイ領域中心に、業界問わず大手クライアントのプロモーション支援を行う。現場に拘り、コツコツと改善施策を積み上げながら、着実に改善に繋げていく職人。