統計的検定とは、データに基づいて仮説を検証するための手法です。具体的には、観測されたデータが偶然によるものか、それとも何らかの実際の効果や関係を示しているのかを判断するために使用されます。

統計的検定の基本的な流れは以下の通りです：

1. 仮説の設定：まず、検証したい仮説（帰無仮説と対立仮説）を設定します。例えば、「新しい薬が従来の薬より効果があるかどうか」を検証する場合、帰無仮説は「新しい薬は従来の薬と効果が同じ」であり、対立仮説は「新しい薬は従来の薬より効果がある」となります。
2. データの収集：次に、仮説を検証するためのデータを収集します。
3. 検定統計量の計算：収集したデータを基に、検定統計量（例えばt値やカイ二乗値）を計算します。
4. P値の算出：検定統計量を基にP値を算出し、これが有意水準（通常は0.05）以下であれば、帰無仮説を棄却し、対立仮説を採択します。

統計的検定にはいくつかの種類がありますが、代表的なものにはt検定、カイ二乗検定、F検定などがあります¹²。

仮説検定（かせつけんてい、英: hypothesis testing）あるいは統計的仮説検定 (statistical hypothesis testing)^{[補 1]} とは、母集団分布の母数に関する仮説を標本から検証する統計学的方法の一つ。日本産業規格では、仮説 (statistical hypothesis) を「母数又は確率分布についての宣言。帰無仮説と対立仮説がある。」と定義している^[1]。検定 (statistical test) を「帰無仮説を棄却し対立仮説を支持するか、又は帰無仮説を棄却しないかを観測値に基づいて決めるための統計的手続き。その手続きは、帰無仮説が成立しているにもかかわらず棄却する確率が α 以下になるように決められる。この α を有意水準という。」と定義している^[2]。

統計的仮説検定の方法論は、イェジ・ネイマンとエゴン・ピアソン流の頻度主義統計学に基づくもの^{[補 2]}と、ベイズ主義統計学に基づくものとの二つに大きく分けられる^[3]。ただし「仮説検定」という場合、前者だけを指すことがある。本項では前者および日本産業規格での定義を説明する。

統計的仮説検定においては、仮説が正しいと仮定した上で、それに従う母集団から、実際に観察された標本が抽出される確率を求め、その値により判断を行う。その確率が十分に（予め決めておいた値より）小さければ、その仮説を棄却する（すなわち仮説は成り立ちそうもないと判断する）。

統計的仮説検定は次のような手順で実施する。

仮説が正しいと仮定した場合にその標本が観察される確率を算出できるように、仮説を統計学的に表現する。検定は下記の二者択一となり、帰無仮説^{[補 3]}を棄却できるかどうかを調べる。

帰無仮説

価値がない^[4]、何の関係もない、差異はみられない、仮説などそもそもなかった、などを意味するもの。普通 H₀ と書く^[5]。

対立仮説（英語版）

帰無仮説に対立するので、対立仮説と呼ばれる。帰無仮説が棄却された際に採択される。普通仮説を意味する [hypothesis] の頭文字を用いて H₁ と書く^[6]。帰無仮説の正しさを求めるように検定を進めるが、成り立つか知りたいのはこちらの方である。

例として、偽薬（プラセボ）に対する薬の試験（「薬の効果を有意的に主張できるか」を調べる）を例にとれば、

• 帰無仮説は、「薬の効果を主張できない」に当たり、下記のように仮説を立てる。
  • 「薬に対する反応の平均がプラセボに対するそれと等しい。」^{[補 4]}
• 対立仮説は、「薬の効果を主張できる」に当たり、下記の仮説に相当する。
  • 「薬に対する反応の平均がプラセボに対するそれとは異なる。」

標本データから、仮説に関係した情報を要約する検定統計量を計算する。下記のように十分性を持つ統計量（十分統計量）が存在すればそれを計算する。単純二仮説の場合は、尤度比が仮説検定の十分統計量となる。

母数に対応する十分統計量は、母集団の確率分布が指数型分布族である場合にのみ存在する^[要出典]。例で言えば、指数型分布族で、2つの標本平均の差 m₁ − m₂ は十分統計量である。

帰無仮説に基づき、検定統計量の確率分布を明らかにする。

例では、標本平均の差は正規分布に従い、その標準偏差は母標準偏差に 1�1+1�2 をかけたもの（ここで n₁ と n₂ は各標本のサイズ）である。

可能な全ての値の集合の中で、帰無仮説に反する極端な範囲（分布関数をグラフ表示した場合には、裾に当たる部分）を選ぶ。これは検定統計量の危険域（英語版）と呼ばれる。帰無仮説が正しい場合に検定統計量が危険域内に入る確率を検定の危険率（有意あるいは検定のサイズともいい、ふつうαと表す）と呼ぶ。危険率としては、対象分野によって異なるが、α = 0.05 (5%) か α = 0.01 (1%) を用いることがある^[7]。検定の種類によっては両側検定または片側検定のみということもある。

日本産業規格では、critical region を棄却域と訳し、「帰無仮説が棄却される検定統計量の値の集合」と定義している。また、備考には「棄却域の限界値を棄却限界値 (critical value) という」と説明している^[8]。

帰無仮説が例のように「平均が等しい」と主張するタイプであれば、分布関数の裾として左右両側を用いる（両側検定）。日本産業規格では、「検定統計量が1次元であり、棄却域がある有限区間の両側となる検定」と定義している^[9]。

「……の方が平均が大きい（小さい）ということはない」と主張するタイプであれば、片側の裾だけを用いる（片側検定）。日本産業規格では、「検定統計量が1次元であり、棄却域がある棄却限界値より小さい領域（又は大きい領域）となる検定」と定義している^[10]。

データから算出した検定統計量が危険域内にあるかどうかを判定する。

通常は統計量が仮定した分布の中で、算出した検定統計量と同じかそれよりも極端な（仮説に反する）値となる確率（これをp値という）を数表などにより求め、これと α とを比較し、p < α ならば危険域の内部にあると判断する。検定統計量が危険域内にあれば、結論は

• 帰無仮説は正しくない。したがって棄却する（これから危険域のことを棄却域 (Rejection region) ともいい、それ以外の範囲は採択域 (Acceptance region) という。）

か、さもなくば

• α 以下の確率しかない事象が起こった

のいずれかになる。この場合を α水準で統計学的に有意であるという。例では「薬に対して観察された反応は α水準で統計学的に有意である」といえる。分かりやすくいえば、「帰無仮説の下でこのようなことは偶然に起こりそうもないが、ごく小さい確率 α で起こり得る」ということである。

一方、検定統計量が危険域の外側にあれば、

• 帰無仮説を棄却するに足る証拠はないというのがただ一つの結論となる。

統計学の目的は（当然であるが）科学的な真理を明らかにすることではなく、数学的な誤謬をできるだけ減らすことにある。

日本産業規格では、検出力 (英: statistical power) を「帰無仮説が正しくないとき，帰無仮説を棄却する確率。すなわち，第2種の誤りをおかさない確率であり，通常 1 − β で表される。」と定義している^[11]。

より高い検出力を、より小さいサンプルサイズで実現することが好ましい。

帰無仮説が正しいときに、これを棄却してしまう誤りを第1種の誤り (Type I error) という^[12]。第1種の誤りを犯す確率を α で表す。α を危険率とも呼び、有意水準に等しい。有意水準を 5% とした時、5% 以下の発生確率しかない事象が起きると、帰無仮説が間違っていたと考えられる。これは、仮説が正しいのに誤って否定してしまう確率が 5% 存在することになる。日本産業規格では、「帰無仮説が正しいとき，帰無仮説を棄却する誤り。あわてものの誤りともいう。」と定義している^[13]。なお、ISO では error of the first kind と表記している^[14]。

誤った帰無仮説を棄却しない誤りのことを第2種の誤り (Type II error) という^[12]。第2種の誤りを犯す確率を β で表す。1 − β を検定力または検出力 (power) と呼び、誤った帰無仮説を正しく棄却できる確率を表す。βは真の母数に依存し、自分で決めることが出来ない。日本産業規格では、「帰無仮説が正しくないとき，帰無仮説を棄却しない誤り。ぼんやりものの誤りともいう。」と定義している^[15]。なお、ISO では error of the second kind と表記している^[16]。

第1種の誤りを減らそうとすれば第2種の誤りが増える（またはその逆）という傾向がある。なお第1種の誤り (α) 対 検出力 (1 − β) のグラフを、受信者操作特性（ROCカーブ）と呼ぶ。

仮説検定では一般に、あらかじめ指定した十分小さい α に対し、β をなるべく小さく（検出力をなるべく大きく）するように棄却域を選ぶ方針をとる（ネイマン・ピアソンの補題）。

日本産業規格では、検出力関数を「仮説があるパラメータで表現されているとき，パラメータの値によって検出力を与える関数。」と定義している^[17]。

例のように、母集団の分布として正規分布を、あるいは比較する2群間の等分散（標準偏差が等しい）を仮定する（母数＝パラメータを仮定する）検定法をパラメトリック（Parametric）、それらを仮定せず一般の分布に適用できる検定法をノンパラメトリック（non-parametric）な検定と呼ぶ。具体的な方法の例を挙げる。

• t検定
• F検定
• 回帰分析
• 分散分析

• サイン検定（符号検定）
• Wilcoxon検定（順位付符号和検定）
• マン・ホイットニーのU検定
• カイ二乗検定
• フィッシャーの正確確率検定

検定の目的からは、母数の有意性の検定、適合度検定（特定の母集団から抽出されたものか）、均一性検定（2標本が同一母集団によるものか：上の例）、独立性検定（2標本が独立か）などに分けられる。

逐次的仮説検定（英: sequential hypothesis testing）とは、逐次的に行う仮説検定を指す。すなわちサンプルサイズが固定数とは限らず、停止則を導入し、それが満たされるまでは実際には仮説検定の実施を遅らせ、サンプルの追加を行う。停止則が満たされた段階では、決定則（すなわち仮説検定）を実施する。逐次的確率比検定（英語版）（逐次的尤度比検定）も参照。

より小さいサンプルサイズで、より高い検出力を実現することが好ましく、統計学的に最適な停止則および決定則を最適停止則および最適決定則と呼ぶ。

オンライン的な仮説検定として利用可能である。その場合、サンプルサイズはレイテンシとして位置づけられる。