広告のABテストや、LPのABテストをした時ににどっちが良かったか振り返ると思いますが、微妙な差だったりすることがあると思います。

CTRがちょっとだけ高い、CVRがちょっとだけ高い。

そんな時、これって誤差じゃないの?って思ったり、社内で報告した時に上司から「それたまたまじゃない?」と言われたことないでしょうか?

そんな時に今回ご紹介する「統計的有意差」を使うと、根拠をもって差があるということができます。

統計的有意差とは

統計的有意差とはコトバンクから引用すると以下になります。

統計上からは偶然に起こったとは判定できない差のこと。

つまり、その差が偶然や誤差ではないということですね。

有意差があれば、CTRの差やCVRの差が偶然やたまたまではなく、その2つには差があるよと言うことができます。

統計的有意差ってどう出すの?

計算式を使ったり、エクセルの関数を使う方法もあるようですが、私も統計学に精通しているわけではないので、正直わかりません。
ただし、みなさまご安心ください。すでに以下のようなサービスがネットで使えます。

ABテスト計算ツール│統計学的有意差検定ツール
https://www.websiteplanet.com/ja/webtools/abtest-calculator/
A/B テストカルキュレータ
https://jp.surveymonkey.com/mp/ab-testing-significance-calculator/

使いやすい方を使えば良いと思います。

これらのツールを使って「有意差あり」となれば根拠をもって両者の間には差があると言えます。
これまでABテストでこういった見方をしたことがなかった方は、一度使ってみてください。

ではまた。

The following two tabs change content below.

Junichi Nakamura

前職は大手ネット広告代理店のインターネットプロモーション部門の部長。マネジメント兼プランナー/ディレクターとして、SEM、ディスプレイ領域中心に、業界問わず大手クライアントのプロモーション支援を行う。現場に拘り、コツコツと改善施策を積み上げながら、着実に改善に繋げていく職人。