こんにちは、おちです。
今回はビジネスの場でよく出会う統計用語「有意差（p値）」とは何かについてお話しして参ります。
ビジネスでよくある会話例を以下に記載します。
今年のお客様満足度の結果は去年に比べてどうかな？
今年は去年に比べて”有意”にお客様満足度が上がりました。
有意な差が見られたのであれば、満足度が向上した要因がありそうですね。向上要因を詳しく分析してもらっても良いですか？
上記のようにビジネスにおいて”有意差”は”有意”や”有意な差”などと言葉を変えて、調査結果を読み取ったり、分析する時によく出会います。有意差の意味をしっかり押さえておきたいところです。
では、本題に移ります。
有意差（p値）とは？
有意差とは統計的に意味の有る差という意味です。グラフを見ながら意味の有る差がある時と無い時を見比べてみましょう。
平均値だけを見比べるとパターン①も②も同じなのですが、中身は全く違います。
パターン①はばらつきが小さく、Bの方が安定してAより大きそうです。
一方パターン②はAとBともにばらつきが大きく、AがBよりも大きい時もあれば、BがAよりも大きい時もあります。
AとBに明確な差があるとは言えない状況です。
上記のように、ばらつきも考慮した上で２つの間に差がある場合を”有意差あり”、差があるかわからない場合を”有意差なし”と表現します。
最初の2人の会話を振り返ってみましょう。
今年のお客様満足度の結果は去年に比べてどうかな？
今年は去年に比べて”有意”にお客様満足度が上がりました。
アンケート個々人の回答のばらつきを考慮しても、”ほぼ確実に”今年の方が去年よりお客様満足度は上がっていたことを”有意”という言葉を使うことで伝えていたのです。
”ほぼ確実に”という部分を数値で表現できるのが統計の便利なところです。
”有意差”という言葉が出たときは95％以上の確率で差があると考えて良いです。
逆に言うと5％未満の確率で差があると言う判断は誤っている可能性があると言うことです。
この本当は差があるかわからないのに差があると誤ってしまう確率を有意水準（p値）と言います。単にアルファ（α）と表現されることもあります。
にゃん太５％未満って20回に1回は間違えるってことがあるってことでしょ！？もっと確実な結果が欲しいんだけど
おち業界や状況に応じて有意水準（p値）が1％未満の時に有意差ありとする場合もあります。”有意”と言う意味には幅があるので、p値と言う数値も見ながら判断の参考にすると良いです。
有意差なしとなった時の注意点
有意差がある状態とは、ばらつきも考えた上でほぼ確実に差がある状態と言うお話をして参りました。ここで注意したいのが有意差が出なかったときです。
おち有意差が出なかったからと言って差がないわけではないです。
有意差なしと聞くと差がなかったと勘違いしてしまいがちですが、正確には差があるかわからないです。
そのため、統計的に有意差なしという結果が出ても、直感的に差があるはずだと思った場合はすぐに諦める必要はありません。
たまたま選んだサンプル間のばらつきが大きかっただけかもしれませんし、調査方法がやや曖昧でばらつきが大きく出やすいやり方だったのかもしれません。
調査の方法や測定項目、サンプル数、試験回数などが目的に合ったものかどうかを見直して、不適切な部分があったのであれば改善して再度チャレンジするのはありです。
ただ、見直した結果調査方法が目的に合っているのに何度もチャレンジするのは判断を誤る原因になります。20回に1回は本当は差がないのに”有意差があり”と間違った結果が出るためです。
有意差なしと言う結果が出た場合には冷静で客観的な目で見直す必要があることに注意していただけると助かります。
最後に
今回は有意差（p値）についてご紹介しました。ビジネスでよく使われるようになってきたからこそ、その意味を勘違いせずにデータと向き合いたいところです。
質問などございましたらコメントやお問合せにてご連絡いただけますと幸いです。
また、p値の他にも統計用語の解説記事やAI記事などを載せています。ご興味があればご一読いただけると嬉しいです。
今回は以上になります。最後までお付き合いくださりありがとうございました。