【Python】シャピロ・ウィルク検定でデータの正規性を検定する方法

今回は、データの正規性を評価するために使用する、シャピロウィルク検定とQ-Qプロットについて解説します。

シャピロ・ウィルク検定とは

シャピロ・ウィルク検定(Shapiro-Wilk test)は、データの正規性を評価するための検定です。

言い換えると、データが正規分布に従っているかを評価します。

統計学において、データが正規分布に従っているかは重要です。

様々な検定方法がデータが正規分布に従っていることを前提にしているからです。

なので、分析を始める前にデータが正規分布に従っているかを確認することが大切です。

シャピロ・ウィルク検定の際は、正規分布に従っているいるかを評価するため、以下仮説を設定します。

つまり、p値と検定結果の関係は以下の通りです。

Q-Qプロット

視覚的にデータが正規分布に従っているかを評価する方法もあります。

それが、Q-Qプロットです。

Q-Qプロットは、グラフを使って評価します。

データが理論的な分布に従っている場合は、プロットは直線になります。

プロットが直線に近づいていれば、データが正規分布に従っているといえます。

Pythonで正規性の評価

それではPythonで正規性を評価してみましょう！

Pythonでシャピロ・ウィルク検定実践

まずは、シャピロ・ウィルク検定をPythonで実践してみましょう！

seabornのtipsのデータセットを使用します。

import seaborn as sns
import matplotlib.pyplot as plt
from scipy import stats

# tipsデータセットの読み込み
tips = sns.load_dataset("tips")

# 総額（total_bill）に対してシャピロウィルク検定を実施
statistic, p_value = stats.shapiro(tips['total_bill'])

print("総額（total_bill）のシャピロ・ウィルク検定結果:")
print(f"統計量: {statistic:.4f}")
print(f"p値: {p_value:.4f}")

実行結果

総額（total_bill）のシャピロ・ウィルク検定結果:
統計量: 0.9197
p値: 0.0000

この結果からp値が有意水準(0.05)より小さいので、帰無仮説を棄却します。

つまり、母集団は正規分布に従わないことがいえます。

PythonでQ-Qプロット実践

続いては、Q-QプロットをPythonで実践してみましょう！

シャピロ・ウィルク検定でtotal_billのデータが正規分布に従わないことがわかりました。

そこで、Q-Qプロットで視覚的にみてみます。

Q-Qプロットを描画するには、statsmodelsのapi.qqplotを使用します。

qqplot()の引数は以下のように使用します。
第1引数: データ
第2引数: line=’r’ regression(回帰)を表示

from statsmodels.api import qqplot

# Q-Qプロットを描画
fig = qqplot(tips['total_bill'], line='r')

実行結果

Q-Qプロットのグラフを見ると、プロットが直線に従っていないことがわかります。

つまり、プロットしたデータが正規分布に従わないことが視覚的にみてとれます。

まとめ

今回はデータの正規性を検定する方法を紹介しました。

Q-Qプロットで視覚的に正規性を評価し、

シャピロ・ウィルク検定で具体的にどれくらい正規分布に従っているかを確認します。

ここまで読んでくださりありがとうございます。

参考

おすすめ教材

他のUdemyの講座が気になる方はこちら

Pythonで学ぶあたらしい統計学の教科書 第2版

¥3,630 （2024/04/08 23:55時点 | Amazon調べ）

楽天市場

ポチップ