ぶんさんぶんせき

線型性

言わずもがな，分散分析モデルは線型モデルの一種である。 分散分析がこの線型性の仮定に乗っかっているということは， モデルの線型性が前提できない現象へ分散分析を根拠なく適用してはいけない ということ。これはとっても忘れられがち。 もう少し実践的に言うと，線型モデルを当てはめるのがマズイと，事前に，あるいはデータの分布を見て，わかる場合は， もっと適切な分析モデルを当てはめるべきである，ということだ。 これは「何でもかんでも分散分析するな」の根拠の１つである。

ここで言っている線型性とは，独立変数と従属変数の関係の話ではなく，母数(parameter)についての線型性であることに注意。 式で書けばこういうこと。

行列表記にすると，

ここで， は被説明変数ベクトル（n×1）， は説明変数行列（計画行列とも呼ばれる）（n×p）， は母数ベクトル（p×1）， は誤差変数ベクトル（n×1）。 ただしこれは母数モデルの場合。変量モデルの場合は， は変量効果を表す確率変数ベクトル。

たとえば，２要因デザイン（それぞれ２水準，交互作用なし），繰り返し数 3 の場合，次のようになる。

このように dummy code で計画行列を作った場合は母数の解釈に注意する必要がある。 例えば， は総平均ではない。 母数について，ふつうの分散分析に近い解釈をしたい場合は， effect coding あるいは orthogonal coding を使うべし。

誤差分散

説明変数以外に帰属される分散（＝説明変数に帰属できない分散）は誤差分散と呼ばれる。 この誤差分散に関しても，分散分析モデルではいくつか仮定を置いている。

直交性

上記の前提の１つ，直交性について。直交した釣り合い型データ（balanced data; 各要因水準のデータ数がきっちり同数のデータ） であれば特に問題はないが， 非釣り合い型データ（unbalanced data; 各要因水準のデータ数が不揃いのデータ）の場合， 直交性が崩れることがしばしば。

ここでいう直交とは，説明変数ベクトル同士の内積がゼロ（ベクトル間の角度が90°）という意味である。 これはすなわち，説明変数が互いに相関していないということ。

この直交性の定義から考えると，データ数が非釣り合いであっても直交し得る場合があるということがわかる。 つまり，各セルのデータ数が水準によって違ったとしても周辺度数には比例する場合，内積はゼロであるから直交である。 クロス表における独立性の話を思い浮かべてもらうとわかりやすい。

平方和のタイプ

分散分析は因子が直交している場合に成り立つ平方和の加法性を利用して平方和を分解するものであり， そもそも釣り合い型データに適用するよう考案された分析である。 ただ，直交性が崩れていると即アウトというわけではない。 もしそうなら現実にはアウトのデータが無残にも山ほどできてしまう。 そこでアンバランスでもなんとか個々の変動要因の平方和を計算する方法を考える。 その案がタイプI～IVの平方和というやつ（たぶん名前はSAS起源）。 だからこの「平方和のタイプ」は幸運にも自分のデータが直交釣り合い型データのときは まったく関係ない（どれでも同じ）。

基本的に，タイプの違いというのは，「非直交なデータでは要因間に相関があることになるから， 平方和の加法性が単純には成立しないので，その相関の分を如何にコントロールするか」， というコントロール方法の違いに拠る。ここでいう「コントロール」という概念は 偏相関係数や偏回帰係数におけるそれと同様だと思ってもらってよい。

青木さんのサイトで解説されている計算方法 はタイプIIの平方和。

以下，参考にできるページ。

• TYPES OF SS - archived
• SPSS Library: An Overview of SPSS GLM
• GLM: Unequal n Designs (SPSS)
• [fpr 1384] About ANOVA(SS)
• SAS における４つの平方和とその選択

帰無仮説の違い

固定効果と変量効果では検定における帰無仮説が異なる。

固定効果における帰無仮説とは，要因 A の水準数を p とすると，

というもので，各水準の効果（母数 i.e. 未知の固定値）がすべて等しい， もっと言えば，各水準の平均値がすべて等しい，という仮説である。

もちろん，分散分析においては，

という制約がつくので，上の仮説は，

ということである。

これに対し，変量効果における帰無仮説とは，

であり，要因A（確率変数）の分散がゼロである，という仮説である。

F比を構成するもの

分散分析において効果の検定に用いられるF値は，分母と分子で構成される。すなわち，比が計算される。 よくある分散分析の利用場面では，分母には誤差項の平均平方，分子には主効果や交互作用の平均平方があてられることが多い。 しかし，これは常にそうであるわけではない。

上述の「よくある利用場面」，たとえば一元配置分散分析において，分母に誤差項の平均平方 ， 分子にA因子の主効果の平均平方 で比が計算される理由は， その場合の の期待値が ， の 期待値が だからである。 両者の違いは の含まれる第2項のみであり， が 0 ならば違いはなくなる。 この比を計算したとき，もし が真（Aの効果がない）ならば，比は 1 になるし， （Aの効果がある）ならば，比は 1 より大きくなる。 これを利用して，F比が 1（ のケース）よりも偶然といえないほど離れているかどうか， 確率を計算する。

この「よくある利用場面」とは母数モデルを指している。母数モデルにおいては，いくつ要因が入った計画であっても， 各効果の平均平方の期待値は 「 誤差の分散 + その効果の分散×K 」 となる（Kは定数，水準数やセル内のデータ数で決まる）。 よって，分母に誤差項の平均平方，分子に各効果の平均平方をもってきてF比を作ればよい。 しかし，変量効果が入るときにはそうはいかない。

以下に，デザインの例と，そのときの各平均平方の期待値を挙げる。 表中の などは，その要因が変量効果の場合 1 ，固定効果の場合 0 である。 すなわち， の付いている項は の添え字の要因が固定効果であれば消える。 p，q，r はそれぞれ要因A，B，Cの水準数，nはセル内のデータサイズである（釣り合い型データの場合を考えている）。

このように，変量効果がモデルに入ってくると，母数モデルの場合とは平均平方の期待値が異なり（の付いた項が加わる）， その結果，F比を作るために使う平均平方が変わったり，適切なF比を容易に作れなかったりする場合がある。 F比が作れないということは，古典的な分散分析のやり方で検定できない，ということ。 複雑な計算をしたり，後述の混合効果モデルを使ったりする必要がある。

次にいくつか具体例を挙げてどのような分散分析表になるか見てみる。

乱塊法

２因子乱塊法（randomized block design）では，次のようなモデルを設定する。

説明変数として組み込まれているのは要因A，要因B（およびそれらの交互作用），ブロックC，である。 ここでは，ブロックと効果を調べたい要因（A，B）との交互作用はないものと仮定されている。 この式を見ればわかるように，ブロック（例えば「被験体」）というのは，１つの因子としてモデルに組み込まれる （研究者がその効果を調べたいものではないかもしれないが）。 すなわち，これは３要因計画の一種である。ブロックと他の要因との交互作用がないと仮定される特徴があるとしても， そのようなモデリング（交互作用項を外すとか）は乱塊法に限らず行われ得るので， 乱塊法も３要因計画の文脈でより一般的に考えることができる。

ただし，注意しなければならないのは，ここに組み込まれている要因（A，B，ブロック）が変量因子かどうか， ということ。 効果を調べたい要因A，Bは固定因子であることが多いと思われるが，ブロック因子は変量因子である場合もある。 例えば「被験者」というブロック因子は典型的に変量因子だと見なされる。 上記の分散分析表の一覧をもとに，このようなブロックが変量因子の場合の分散分析表を書いてみよう。 セル内のデータサイズ(n)が 1 の場合（繰り返しなし）が心理学では典型的なようなのでこの場合を考える。

上記の三元配置の表をもとに n = 1 を入れて書き直す。そうすると，誤差の自由度が 0 と計算される。 つまり，繰り返しがないので A×B×C のフルモデルを当てはめてしまうと誤差が同定できない。 しかし，この場合，ブロックC と他の効果との交互作用は無いものと仮定されているので，変動要因AC，BC，ABCの行は消され， これらの和が誤差の平方和と自由度となる。 さらに，平均平方の期待値について，ブロックC と他の効果との交互作用は無いという仮定だから，これらの入っている項を消す。 も C に関係するもの以外は 0 なので，これの付いた項は消す。 するとこのような表になる。

変動要因	自由度	平均平方の期待値	F比
A	p - 1	σ2e + qr σ2A	MSA/MSe
B	q - 1	σ2e + pr σ2B	MSB/MSe
C	r - 1	σ2e + pq σ2C	MSC/MSe
A×B	(p - 1)(q - 1)	σ2e + r σ2A×B	MSA×B/MSe
誤差	(pq - 1)(r - 1)	σ2e
全体	pqr - 1

表を見ればわかるとおり，このデザインではどの効果も誤差の平均平方で割ってF値を出せばよい。

次に，ブロックと要因A，Bとの間に交互作用があると考えられる場合にどうなるかを見てみる。 モデルはこのようになる。

ここでは，繰り返しなしの場合を考えているのでA×B×Cの二次交互作用と誤差を分離できないが， 繰り返しがあれば分離することができる。

先ほどと同じく，上記の三元配置の表をもとに n = 1 を入れて書き直す。 繰り返しが無いので誤差の平方和を取り出せない。 さらに，平均平方の期待値について， 以外のの付いた項は消す。 するとこのような表になる。

変動要因	自由度	平均平方の期待値	F比
A	p - 1	σ2e + q σ2A×C + qr σ2A	MSA/MSA×C
B	q - 1	σ2e + p σ2B×C + pr σ2B	MSB/MSB×C
C	r - 1	σ2e + pq σ2C
A×B	(p - 1)(q - 1)	σ2e + σ2A×B×C + r σ2A×B	MSA×B/MSA×B×C
A×C	(p - 1)(r - 1)	σ2e + q σ2A×C
B×C	(q - 1)(r - 1)	σ2e + p σ2B×C
A×B×C	(p - 1)(q - 1)(r - 1)	σ2e + σ2A×B×C
全体	pqr - 1

ここで注目すべきは，変動要因AとBの主効果やA×Bの交互作用を検討するときに作るF比。 この表にある平均平方の期待値を見ればわかるように， や が 0 かどうかを検定するには， 分母にそれぞれA×C交互作用の平均平方，B×C交互作用の平均平方，を用いる。 A×B交互作用の検定には分母にA×B×C交互作用の平均平方を用いる。これら以外の効果については， どれか２つの平均平方の組み合わせで適切なF比をつくることができない。 もちろんこれはブロック (例えば「被験者」) を変量因子と考えているからで，固定因子であればこのようなことにはならない。

SPSSなどではデフォルトでこの「ブロックとの交互作用あり」のモデルによって分析される。

分割区画デザイン

分割区画デザイン (split-plot design) の場合も乱塊法と同様，変量因子に注意しなければならない。 例として，ブロック間１要因，ブロック内１要因の繰り返しなしデザイン（ブロックは変量因子）を考える。モデルは次のとおり。

Aがブロック間要因，Bがブロック内要因，Cがブロックである。 C の添え字に()が使われているのは，ブロックCが要因Aにネストしている，という意味 （次の「分散分析表と平均平方の期待値」の節も参照）。 ブロックCは要因Aとクロスしていない。 すなわち，ブロックCの各水準と要因Aの各水準の全組み合わせについてデータが取られているわけではない。 要因Aの各水準の下にブロックCの水準のいくつかが割り当てられているのである。だからこそ，要因Aはブロック間要因，と呼ばれる。

具体例を見るとよりわかりやすいだろう。 要因Aは２水準でそれぞれブロック２つ，要因Bも２水準，繰り返しなし，の場合の水準の割当てを示してみる。

これを見るとたしかに はブロック間， はブロック内の割当てになっていることが確認できるだろう。 ここではあえてブロック に 1～4 の添え字を付けたが， 要因A の水準ごとに 1, 2, 1, 2 と付けることもできる（クロスの場合みたく）。 しかし，そうした場合，１つ目の や と ２つ目の や とは同じブロックではない（同じ効果が期待されない）。 よってこの場合の には， という風に の添え字だけでなく の添え字の条件付けが必要となる。

上記の一覧にある三元配置分散分析表から，このようなデザインの場合の分散分析表を作ると，下のようになる。 C(A) すなわち A にネストした C の効果は，変動要因C と AC の和になる。C の主効果が A×C の交互作用に吸収されたという イメージで考えるとよい。実際，C 単独の主効果は無い（取り出せない）ものと前提され， そうして膨らんだ A×C 交互作用を C(A) の効果として扱う。B×C(A) の効果も同様に，B×C と A×B×C が合わさる。 また，ここでも n = 1 の場合を考えているので，誤差は分離できない。

変動要因	自由度	平均平方の期待値	F比
A	p - 1	σ2e + q σ2C(A) + qr σ2A	MSA / MSC(A)
B	q - 1	σ2e + σ2B×C(A) + pr σ2B	MSB / MSB×C(A)
A×B	(p - 1)(q - 1)	σ2e + σ2B×C(A) + r σ2A×B	MSA×B / MSB×C(A)
C(A)	p(r - 1)	σ2e + q σ2C(A)
B×C(A)	p(q - 1)(r - 1)	σ2e + σ2B×C(A)
全体	pqr - 1

見てわかるとおり，要因A の主効果を検定するには，誤差の平均平方でなく C(A) の平均平方で割り， 要因Bの主効果，A×B の交互作用の検定には B×C(A) の平均平方で割る必要がある。 その他の効果を検定するための適切なF比は作れない（繰り返しがあれば可能）。

分散分析表と平均平方の期待値

もっと一般的に，任意数の要因の組み合わせにおいて平均平方の期待値がどのようになるかを見てみたい人は， 下の可変テーブルが使える。いろいろ変えて試してみてください。

要因数，各要因が固定効果か変量効果か，ある要因が別の要因にネストしているかどうか，を選択できる。 固定効果/変量効果の選択における というのは，上の説明における と同じである。 固定，変量を選べばこの記号がなくなるので見やすいかも。

階層のチェックは，「（行）が（列）にネストしている」（入れ子になっている）という意味である。 例えば「B が A にネストしている」とは，B の各水準はAの各水準ごとに異なっているということ。 個体を４つ選んで，それぞれについて５つ体細胞を取り，薬品検査をしたなら，検査結果の変動に対する体細胞の要因は個体の要因にネストされている。 こういうデザインの実験は，「枝分かれ実験」とか「階層計画 (hierarchical design) の実験」とも呼ばれている。

上述の乱塊法や分割区画の場合を自分で作ってみてほしい。

混合効果モデル

混合効果モデル（混合モデル）とは，単純には，固定効果と変量効果を両方含むモデルのことである。 これは理論的には古くから考えられてきたが，実践的な計算では変量効果を扱う上で限界があった。

だが，近年の統計学とコンピュータの発展によって（ようするに最尤法が実用できるようになった），両方の効果が入ったモデルを適切に扱うことができるようになった。 それだけでなく，相関のあるデータ（欠損値がある場合や，変量因子間や誤差間の共分散）も扱うことができる。 このような拡張があることから，分散分析モデルの一種としての範囲を超えて， 別な手法として「（線型）混合モデル」と呼ばれ確立されているようだ。

詳しくは下節「線型混合効果モデル」を参照のこと。

単純効果

心理学・医学・教育学などでは，交互作用が有意だった場合に，事後的に単純効果 (simple effects) の検定が行われることが多い。 これは交互作用効果の下位検定と呼ばれる。 しかしこれは，交互作用効果の詳細なパターンを確認する手段の１つに過ぎないし， その前の分散分析での交互作用効果の検定と整合しない。その意味で，厳密に「下位」ではない。 例えば，交互作用が有意でないのに単純主効果は有意であったり，交互作用が有意なのにどの単純主効果も有意でなかったり， などという場合があり得る。

「下位検定」は英語にすると subeffect tests だろうか。しかし私はこの語を自分の読んだ論文/書籍で見かけた覚えがない。 それに比べて日本語の文献では「下位検定」をよく見かける。日本人が作った用語なのだろうか？ post hoc analysis, post hoc test という言葉ならしばしば聞くが，これを訳すなら「事後分析」「事後検定」だろうし。

ある要因の水準を限定して，それに当てはまる部分のデータだけでの効果というものを考えたのが，単純効果という概念である。 そして，これを検定するのが単純効果の検定である。 例えば，２要因（それぞれ３水準）の完全無作為計画で実験をした場合， 有意な交互作用効果が得られ，その後，要因Aの水準a1のみに限って（水準a2,a3のデータは除いて）， 要因Bの効果を検討しようとするかもしれない。 これは要因Aの水準a1における要因Bの単純主効果 (simple main effect) と呼ばれる。 合わせて，要因Aの水準a2やa3においても要因Bの効果を検討する。 これらの結果に基づいて，交互作用がどのようなパターンであるかの分析を試みることが多い。 繰り返すが，これは交互作用の詳細なパターンを調べる（これだけで完璧ではない）手段のうちの１つである。 このような単純主効果の検討は，簡単に言えば，主効果と交互作用効果を合わせた効果を調べている。 その検定結果がどうなるかはケースバイケースであり（すなわち，交互作用の有意性だけでは決まらず）， 前述したように「交互作用効果の検定と整合しない」。

単純効果という概念には，単純主効果だけでなく，単純交互作用効果 (simple interaction effects) も含まれる。 これも前述と同様に，ある要因の水準を限定して，それに当てはまる部分のデータだけでの交互作用効果，というものを考える。

x1 <- gl(2, 12)
x2 <- gl(2, 6, 24)
ps <- replicate(1000, {
  y <- rnorm(24)
  anova(lm(y ~ x1 * x2))[[5]][-4]
})
apply(ps < 0.05, 1, sum)
sum(apply(ps < 0.05, 2, any))

対比とその交互作用

Kirk (1982) によれば，単純効果の検定だけでなく，個々の対比の交互作用を調べるのがよい。

ここでいう対比とは，ある要因にp個の水準があり， 水準iにおける平均値を としたとき，

で定義されるである。ただし，

を満たす。要するに，各水準の平均値の重みづけ和である。 重み は上の条件を満たす限り任意に決めてよい（意味のあるものは限られるが）。 この の推定値

はサンプルから計算できるが，母集団において が 0 かどうか，つまり帰無仮説

を検定したいとする。例えば，帰無仮説の下では

であるから， t 統計量を求めて

という具合に自由度 n - p の t分布を使った検定を行うことができる。ここで は分散分析でも得られる誤差分散の推定値

である。F分布を使うなら

さて，例えば （残りはすべて 0）とすると， であり， 検定の帰無仮説は ，すなわち であるから， 水準1と水準2の平均値に差があるかどうかの検定と同じ意味になる。 従って明らかに，対比がカバーする範囲は各水準の対比較 (pairwise comparison) の範囲を完全に含む。

また，例えば （残りはすべて 0）とすると， 水準1,2の平均と水準3との比較，といったことも可能になる。 対比のバリエーションはかなり豊富にある（というか，ストレートに解釈できないものも含めれば無限にある）。

ちなみに，計画的対比 (planned contrasts) でない場合に，多重検定を考慮して， 上の 統計量に対してもっと保守的な臨界値

を使って同時検定を行う（あるいは同時信頼区間を求める）やり方は，Scheffé の方法と呼ばれている。

処理－対比交互作用

処理－対比 交互作用 (treatment-contrast interactions) とは，例えば２要因計画の場合，ある要因Bの処理水準によって， もう一つの要因Aについての対比が一定でない，という交互作用である。 これを検討することで，３水準以上ある場合の細かな交互作用パターンがわかる。

要因Aに関する対比 を要因Bの水準 毎に考えるとき，これを として，一般に処理－対比 交互作用の平方和は

ここで は要因Aの水準数， は要因Bの水準数， はセル内の繰り返しの数である。自由度は である。

例えば，3水準ある要因Aについて という対比を考えるとしよう。そして，要因Bの各水準 の間で，この要因Aに関する対比 に違いがあるかを検討する。 平方和は

となる。これと誤差の平方和とでF比をつくって検定すればよい。 ただしここでも，上記の単純効果の場合と同様，要因Bの一部の水準について検討する場合は誤差項をプールするかどうかの選択がある。

対比－対比交互作用

処理－対比 交互作用の検定で有意な結果を得たなら，さらに詳細な検討をする。 対比－対比 交互作用 (contrast-contrast interactions) とは，例えば２要因計画の場合， ある要因Aについての対比によってもう一つの要因Bについての対比が一定でない，という交互作用である。 つまり，処理－対比 交互作用では片方の要因の水準毎に調べていたのを，両方とも対比にして検討するということ。 Kirk (1982) の３つの中では，これのみが純粋に交互作用を検討する方法である （単純主効果や処理－対比交互作用は主効果と confound している）。

要因Bの水準 毎の要因Aに関する対比を ， 要因Aの水準 毎の要因Bに関する対比を とすると 平方和は

検定の仕方は処理－対比交互作用と同様。自由度は 1 である。

一般線型仮説

固定効果のみの分散分析を含め，（単変量）線型モデル

における に関する帰無仮説は，一般的に

と表せる。これを線型仮説 ( linear hypothesis ; 一般線型仮説 general linear hypothesis , 線形仮説 ) と呼ぶ。 ここで， は k × q 行列（仮説行列と呼ばれることもある）， は q × 1 の母数ベクトル， は k × 1 の定数ベクトルである。 例えば，

のとき，

という，三群の平均値が等しいという仮説は

と同じであり，これは

と書ける。 の推定値 は， とおくと

帰無仮説のもとでの制約付き推定値 は， ， ， とおくと

線型仮説を検定するための統計量は一般に

が使える。ここで，， ， ， はそれぞれ，

球形仮定

上記の通り，古典的な分散分析では，要因が被験者間だとか被験者内だとか，集団で実験しているとかそうでないとか，そんなことにはお構いなく， すべての観測に関して誤差分布は独立であることを前提として理論が組み立てられている。 例えば，上節の分割区画デザインなどで被験者内要因を組み込んだモデルでは，被験者間要因の各水準における分散共分散行列 を考えると，独立な誤差の他に「被験者」因子による共分散が入って，

と仮定される。分散共分散行列に対するこのような条件は複合対称性 (compound symmetry) と呼ばれる。 Huynh & Feldt (1970) はこの条件を満たす行列を S 型行列 (type S matrix) と呼んでいる。

ところが，実際に被験者内要因の入った実験や調査を行ったときにこのように整った分散共分散行列が得られるとは限らない― 例えば共分散が抽出誤差程度でないほどバラバラになる。 するとそのような場合，前提が満たされていないのだから，分散分析という方法の適用はまったく誤りであるかのように思われるかもしれない。 しかし，そうではない。

古典的な分散分析は最終的に統計量 F を用いて検定を行うのであるが，そのロジックは， 上の節で述べたような諸仮定（誤差の等分散など）が満たされているならば所定の計算で得られる統計量 F が帰無仮説のもとで F 分布と呼ばれる分布に従いますよ，ということである。 この逆は述べられていない。つまり，諸仮定が満たされていることは十分条件であり， 諸仮定を満たしていなくても F 分布に従う余地があるのだ。

では，反復測定を入れている場合，帰無仮説のもとで F 分布に従うための必要十分条件とは何か。 それは，循環性仮定 (circularity assumption)と呼ばれており，共分散行列 が次の形をとることである：

ここで である。 この形の行列は H 型行列 (type H matrix) と呼ばれたり，Huynh & Feldt の名をとって H-F 共分散構造と呼ばれたりする。

この仮定は，共分散行列 を考えている p 個の反復測度 のうち２つの差の分散が，どの組をとっても一定の値 であるということを意味する：

これからさらに次の事が導かれる: k × p ( k < p ) の正規直交対比行列 (orthonormal contrast matrix) (すなわち，，) と正定数 でもって

これは，共分散行列の直交分解が球形 (spherical)，すなわち，どの方向にも同じ大きさになる，ということを意味している。 よってこの仮定は，球形仮定 (sphericity assumption) と呼ばれている。 あるいは，直交変換によって等分散になる，と言った方がよいだろうか。 球形仮定は，球面性仮定とか球状性仮定とも呼ばれる。等方性とも呼ばれる。 以下では千野(1993)に習って球形仮定と呼ぶことにする。

上の式からわかるように，反復測度が2水準しかなければ，球形仮定は常に成り立つ。 よってその場合，球形の確認のための検定や自由度の修正などの複雑な議論はまったく関係ない。

また，上節での乱塊法の説明にて，交互作用を含めたモデルとそうでないモデルを紹介しているが， 球形仮定が成り立つならばブロックとの交互作用はない。 つまり，（大局的）球形仮定が満たされていると考えられる場合ならば，交互作用なしモデルでよい，ということだ。

ところで，下節で紹介する一般化多変量分散分析は，共分散行列 の構造にまったく仮定を置かない。 つまり，分散共分散行列を p×p 個の自由パラメタとして扱う。 よって，このような球形仮定の話とは無縁になれる。サンプルサイズが十分な場合には，そちらがお勧め。

さらには，共分散行列が球形仮定を満たしていなくても，その他の構造を満たしているなら，それを適切にモデリングした方がよい。 線型混合モデルを使おう。

• F-比が歪まないための必要十分条件についての証明の歴史

自由度の修正

球形仮定が成り立っていれば，F 比は F 分布に従う。成り立っていない場合は一般に，F 検定の第一種過誤の確率はインフレする。 インフレを修正するために Box (1956) は次のように定義される自由度の修正係数 を導入した:

ここで は の固有値である。 この定義から， は の範囲の値となる。「 の下限」と呼ばれるのは，この左辺の のことである。 この を F 値の分母，分子の自由度にかけて p 値を出すことで，第一種過誤のインフレを防げる。

上の定義式に母共分散行列 が入っていることから， 実践的には の値は未知のため，推定しなければならない。 そこで Greenhouse & Geisser (1959) が推定値を提案した。 この G-G の推定値はサンプルサイズが小さいときに保守的すぎるとして，Huynh & Feldt (1976) が G-G の改善案を提案した。 しかし，H-F は甘すぎるとの指摘もある(Maxwell & Delaney, 1990)。 現在，心理学界などで広く用いられているのは，G-G の推定値のようである。 Girden (1992) は G-G の推定値が 0.75 より大きいときは H-F を使用し，そうでないときは G-G を使用するよう勧めている。

球形仮定が成り立っているかどうかを判断するため統計ソフトでは Mauchly の検定が自動的に出力されたりするが， そのような球形仮説の検定の頑健性が低いとの観点から， 球形仮説の検定をせずに Greenhouse & Geisser (1959) の3ステップ手続き（つまり，最初に通常の，次に下限，最後にG-GまたはH-F）を勧める論者もいるようだ。

事後分析

独自の統計量を使うような多重比較用に開発された手法のほとんどは，i.i.d.を仮定している。 よって，球形仮定が成り立たない場合に使ってはならないことはもちろん，複合対称性の下でしか使ってはならないものもある。(Boik, 1981)

有意水準を調整するタイプのうち Bonferroni 法が頑健でまだマシだと言われているので (Keselman & Keselman, 1988) ， どうしてもというならこれを使って t 検定などする。 しかしこれでも，異分散やサイズが不釣り合いなら場合によっては第一種過誤の確率が水準をオーバーする。

第一種過誤にうるさい人は，かなり保守的であるが多変量の同時信頼区間を使うのがよい。

多変量分散分析

多変量分散分析 (multivariate analysis of variance; MANOVA; multiple analysis of varianceと書いている文献もあるが紛らわしい) とは， 複数の従属変数を同時にモデルに組み込む分散分析であり，単変量の分散分析の拡張であると見なせる。 単変量の分散分析では各条件の平均値を比較するが，多変量分散分析では条件間で平均値ベクトルを比較する。

多変量分散分析を行う目的は大きく３つ挙げられる（時にはこれらのうちの複数を目的としているかもしれない）。

1. 実験毎 (experimentwise) での第一種の過誤 (type I error) の確率を一定の水準以下に保つ
2. 従属変数間の相関も考慮に入れる
3. 単変量では検出できないかもしれない独立変数の効果を，複数の従属変数を組み合わせることで検出する

１つ目の目的は，いわゆる protected の理屈である。 ただし，多変量分散分析の後に従属変数ごとに単変量の分散分析を行うというやり方には批判がある。 これはフォローアップの節を参照。

２つ目の目的に関して，単変量の分散分析では変動要因ごとに平方和（分散）を分解するが， 多変量分散分析では平方和積和行列（分散共分散行列）を分解する。 つまり分散だけでなく共分散（すなわち相関情報）も分析対象にしているということである。

３つ目の目的に関しては，多変量分散分析は複数の従属変数の線型合成（重み付け和）を作成し，それに対する独立変数の効果を分析する。 しかも独立変数の効果（群間の違い）が最大になるように係数を決める。

多変量分散分析のモデルと仮定

多変量分散分析モデルは，

ここで， はデータ行列（n×p; 被説明変数）， は被験者間の計画行列（n×k）， は母数行列（k×p）， は誤差行列（n×p）。

さらに，一般化多変量分散分析モデル (generalized multivariate analysis of variance; GMANOVA) は，

ここで， は被験者内の計画行列（q×p; q≦p）， また は母数行列（k×q）である。

たとえば，被験者間2×2要因計画（交互作用なし）で2つの従属変数を持つ場合，次のようになる。

被験者内のみの2×2要因計画（交互作用あり）ならば，GMANOVAモデルを用いて，

GMANOVAモデルは，成長曲線モデル (growth curve model) とも呼ばれる。というのも，計画行列の作り方次第で，

こんなこともできるからだ。これは3つの従属変数を3時点での反復測定と考えたときに2条件それぞれにおいて2次曲線をあてはめるモデルになっている。

多変量分散分析においては誤差成分 に関して，多変量正規性，共分散行列の等質性，独立性の３つの仮定があり， これらはそれぞれ，上のほうで述べている単変量の分散分析における正規性，等分散性，独立性の仮定の拡張版だと考えればよい。

多変量正規性

上記の誤差行列 については，各行ベクトルが期待値 0 の多変量正規分布に従うと仮定される:

これは，従属変数ごとに誤差がそれぞれ正規分布している，ということではない。もっと大変。 多変量正規分布の密度関数は，変量の数を p としたとき，

である。ここで， は p 個の平均値ベクトル， は p × p の分散共分散行列である。

多変量正規分布に従う確率変数ベクトルは，どんな(0でない)線型変換を施しても多変量正規分布する。 これは，p個の確率変数のうち任意の一部を取り出しても，多変量正規分布することを含意する。 つまり，一部というのが「1つ」の場合として，すべての確率変数がそれぞれ個別に見ると正規分布することも含意する。 しかも周辺分布と一致する。 さらに，そのベクトルの要素のいかなる線型結合も正規分布する，条件付き分布も正規分布する，無相関なら独立である，など，色々な性質が伴う。 まさに理想的な分布である。

単変量の分散分析と同様に多変量分散分析も多変量正規性の崩れには頑健であると一般に信じられている。 しかし，多変量分散分析の頑健性についての研究はまだ十分積み重ねられているわけではないようだ。 あまり盲信しない方がいい。

共分散行列の等質性

単変量の分散分析で正規性に加えて分散が等しいことを仮定したように，多変量分散分析でも上の多変量正規性に加えて， 条件内で等しいのはもちろんのこと条件間で共分散行列が等しいことを仮定する。 たまにある間違い：これは共分散行列 の成分である複数の分散や共分散が等しいという意味ではない。 上の表記で言えば，各 がすべて同一の多変量正規分布に従うということである。

この仮定をテストするために，通常，Box の や Bartlettの という指標が用いられる。 が，これらの検定を行う前に，まず多変量正規性を確認すべし。

共分散行列の等質性の仮定を満たさない場合，各条件の n がほぼ等しいなら，多少検出力が落ちるくらいで大きな影響はないと言われている(Stevens, 1986)。 もし n が大きく異なるなら，第一種過誤の確率が大きく変わる（上にも下にも）ので気をつけよ。

独立性

単変量の場合と同じく，この仮定が一番重要。 従属変数の個々の値は他の値とは独立に（互いに影響されずに）得られたものであると仮定される。 上の表記で言えば，各 が独立に分布するということである。

しかし例えば，集団で実験をやっていて，Aさんの反応はBさんの反応にひきずられるかもしれない。 こういうのは級内相関を用いてテストできる。だが，ちょっと相関があっただけで第一種の過誤の確率は何倍にもインフレする。 独立性の仮定が満たされないのは，まずもって実験手法の問題なことがほとんどなので，くれぐれも気をつけるべし。

多変量一般線型仮説

上で説明している一般線型仮説は，多変量の場合にも一般化できる。

ここで， は k × q 行列 (k ≦ q)， は q × p の母数行列， は p × r 行列 (r ≦ p)， は k × r の定数行列である。

の推定値 は， とおくと，

誤差と仮説の積和行列にあたる と は，

となる。 の場合，すなわち，被験者内要因のない MANOVA の場合は，

と単変量の場合に似た単純な形になる。

多変量検定

上記のとおり，多変量分散分析では平均値ベクトルについて仮説をテストするために 要因効果の平方和積和行列と誤差の平方和積和行列を比較したい。 しかし，複数の行や列を持つ行列だと，単変量の場合のようにそのまま比を計算できない。 このため，平方和積和行列の何らかの「大きさ」の比較をする統計量がほしい。 そして，どのように相対的「大きさ」を測るかで複数のやり方が提案されている。 大抵の統計ソフトでは，下の４つが出力できるようになっている。 以下 は行列 の固有値である。

Wilks' lambda

文献でもっともよく見かけるもの。 。 そのままの分布は複雑なので，変換して，特別な場合に 分布に従うことや， 分布に近似することを利用して検定する。 意味としては単変量での っぽい。

Pillai's trace

。 Wilks' lambda より保守的であるが，頑健であるため，こちらの使用が推奨されている (Hand and Taylor, 1987; Olson, 1976)。R のデフォルト。 っぽい。

Hotelling-Lawley trace

。Wilks' lambda よりもリベラル。 たとえるなら 比。

Roy's greatest root

最大の固有値 で定義。リベラルすぎて実践的には使わない。p値の下限値を知るのに利用。

上から3つの統計量はすべての正準相関（の二乗である固有値）を加味するが，最後のは正準相関のうち絶対値が最大のものだけを使う。

被験者間要因が2水準の時には，これらは違いはないのでどれでもよい。

一般化線型モデル

上節のとおり，線型モデル（固定効果の分散分析を含む）は一般に

と定式化される。期待値の観点からは

と表せる。もちろん分布は正規分布である。これを

と拡張する。つまり，右辺の線型な式と の期待値の間に関数 を一段かませることを許す。 さらに，分布についても正規分布に限らず指数分布族（正規分布，二項分布，ポアソン分布など）であればよい，と拡張する。 これが 一般化線型モデル ( generalized linear model; GLM ) と呼ばれる統計モデルである。

関数 はリンク関数 (link function; 連結関数) と呼ばれる。関数であれば何でもよいというわけには行かず，逆関数があることだけでなく， 統計学的によい性質を持っていることが望ましい。 よって実践では多くの場合，正準リンク関数 (canonical link function) を使う。よく使われる分布と正準リンク関数の組は次のとおり：

分布	リンク関数		逆関数
正規分布 ( gaussian )	identity
二項分布 ( binomial )	logit
ポアソン分布 ( poisson )	log
ガンマ分布 ( Gamma )	inverse
ワルド分布 ( inverse.gaussian )	1/mu^2

ここに挙げた名前は R での分布とリンク関数の指定に使える名前である。用意されている分布とリンク関数は他にもたくさんある上に，R ではリンク関数をユーザが作ることもできるのですばらしい。

二項分布でリンク関数に logit を使うモデルは伝統的にロジスティック回帰と呼ばれてきた。 ポアソン分布に対してリンク関数 log を使うモデルは伝統的にポアソン回帰あるいは対数線型モデルと呼ばれてきた。 つまり GLM はこれらを統合している。

古典的な線型モデルは，一般化線型モデルで gaussian(link="identity") を使った場合に相当する。よって，固定効果の分散分析は glm() でできる。 さらには，他の分布とリンク関数を試してどちらが当てはまりがよいか比較検討することもできるから，一般化線型モデルのほうが視野が広がる（＝真実に近づく）。 よってこれからの時代は，最初から分散分析と言わず GLM なスタンスでいたほうがよい。 （が，実際に R で常時 glm() を使え，ということではない。lm() で足りるモデルなら lm() を使う方がよい。）

glm(log(y) ~ x, gaussian)

glm(y ~ x, gaussian(link="log"))

線型混合効果モデル

混合効果モデル（mixed effects model; 混合モデル mixed model）とは，固定効果とランダム効果（＝変量効果）を両方含むモデルのことである（上記 固定効果と変量効果 の節を参照）。 混合分布モデル (mixture model) と混同しないように注意。 特に線型であることを強調する場合は線型混合効果モデル（linear mixed effects model; 線型混合モデル linear mixed model) とも呼ぶ。 というのは，裏返せば，非線型混合効果モデル (nonlinear mixed effects model) というのも使える，ということだ。

混合効果モデルは，

• 固定効果とランダム効果を両方モデルに入れられる（固定効果だけ，ランダム効果だけでもよい）
• ランダム因子間や誤差間の共分散をモデリングできる
• データに欠損がある場合でも欠損の仕方が MAR なら残りの部分的データを分析に加えられる

という，これまた現場としては非常に嬉しい特徴がある。

線型混合効果モデルの一般式は

ここで， は固定効果の計画行列（n×p）， は固定効果ベクトル（p×1）， はランダム効果の計画行列（n×q）， はランダム効果ベクトル（q×1）。 ランダム効果，誤差ともに正規分布に従うと仮定されており，また，期待値と分散を

と仮定している。 はランダム効果間の分散共分散行列（q×q），は誤差間の分散共分散行列（n×n）である。 つまり，ランダム効果間や誤差間の共分散が 0 でないモデリングをすることができる。 一方，固定効果との間はもちろんのこと，ランダム効果と誤差の間は無相関だと仮定している。 また，の対角要素はすべて同一である必要が無い。 すなわち，古典的な分散分析（を含む一般線型モデル）にあった，誤差の等分散性の仮定，独立性の仮定，を外すことができる。 被説明変数 の分散は

このようになり，誤差の分散共分散 だけでなく ランダム効果の分散共分散 にも規定される。 分析の実践においては，この と の構造を指定することができる。

混合効果モデルから見れば，（古典的分散分析を含む）一般線型モデルは， ， かつ， という，混合効果モデルの特殊ケースである。

この混合効果モデルを用いれば，上節の変量効果のところで書いた「被験者」因子のみならず， これまでランダム効果であるにもかかわらず固定効果として分析されていたものを適切にランダム効果と見なして分析することができる。 また欠損がある場合，通常の分散分析では扱い切れなかった （セルサイズが異なるときになんとか対策を練ってきたが） ものを listwise-deletion せずに正面切って扱うことができる（MCAR, MARの場合）。さらに，同一被験体のデータは相関することがよくあるが， それを無視して（ある程度ずれ過ぎていなればよしとして）分析してきた。 混合効果モデルではそのような誤差が独立でない場合にも適切に対応できる。 よって，今後は積極的に混合効果モデルを使用するのがよい。 R では nlme パッケージの lme 関数など（たくさんある）で線型混合モデルによる分析を行うことができる。

一般化線型混合モデル

一般化線型混合効果モデル（generalized linear mixed effects model; 一般化線型混合モデル generalized linear mixed model）は， 上記の，一般化線型モデルと線型混合効果モデルの合体である。つまりは，この両者の特徴をそれぞれ受け継いだ，ハイブリッドなスーパーマンだ。 例えば，ランダム効果を組み込みながら，分布を二項分布としてモデリングできるのだ。夢のよう。

ところが，まさに夢のような話で，世の中，都合の良いことばかりというわけには行かない。 このようにどんどん拡張していく上で壁として立ちふさがるのは，推定が難しくなることである。

ここまで説明してきた現代的な統計モデルの実践適用では，基本的にパラメタを最尤法（あるいは制限付き最尤法，残差最尤法）で推定する。 しかし，モデルが複雑になると，尤度関数の最大化問題は解析的に解けなくなる。 よって，この問題を数値的に解く様々な工夫がなされることになる。 最尤推定値を求める工夫には，今のところ，これ１つで万能という決定的なものはない。 すると，ユーザには，それらの数値計算手法の中から１つ選択するというこれまた平易でない課題が降りかかるのだ。

最近では，最尤推定ではなくベイズ推定も現場で用いられるようになってきた。 経験ベイズ (EB) とマルコフ連鎖モンテカルロ (MCMC) のおかげ。 現場は，背後の哲学なんかは無視して，統計学者から使えると聞けば何でもござれな感じだ。 もしこのサークルに参加されるなら，あなたを悩ませる選択肢をますます増やすことになる。

実のところ，ここまでくるとケースバイケースだから ―私の経験不足もあるが― ，一般的なことが言いづらい。 生じた問題に応じて個別に解決策を探っていくしかなかろう。 何年かすればもっとスマートなヒューリスティックを提示できるかも。

• glmmML
  • glmmML
• lme4
  • lmer
  • glmer
  • mcmcsamp
• MASS
  • glmmPQL
  • glm.nb
• MCMCglmm
  • MCMCglmm
• glmmBUGS
  • glmmBUGS
• aod
  • betabin
  • negbin
• glmmADMB
  • glmm.admb

構造方程式モデリング

構造方程式モデリング (structural equation modeling, SEM; 共分散構造分析 covariance structure analysis) とは， 観測変数間の分散共分散（あるいはもっと一般にモーメント）に対して， 特に観測変数だけでなく潜在変数 (latent variables) を含んだ背後の構造を想定し， そこから予測される共分散と実際に収集されたデータの共分散が近づくようモデルのパラメタを推定する方法である。

簡単に言えば，SEM は潜在変数と顕在変数（manifest variables ＝観測された変数）に係るパラメタを含んだ連立方程式を解く，いわゆる同時方程式モデルである。 同時方程式モデルは経済学などで長年扱われてきたが，潜在変数の psychometric な測定を含んだ点に現代的な SEM の特徴がある。 確認してもらえばわかるように，上で説明している各種の統計モデルではすべて，１つの方程式でモデルを表現している。 SEM はそれを複数の方程式に拡張したものと見ることができる。 そのように連立方程式なモデルは，数式では複雑に見えてしまうかも知れないが， 実践ではそれをパス図 (path diagram) として表現することによりユーザインターフェイスを格段に易しくし，利用者の増大につながっている。

ふつう SEM のための統計ソフトは潜在変数を含まないモデルも扱えるようになっているので， 分散分析モデルもその中で表現でき，パラメタの推定や検定をすることができる。試しに，二元配置分散分析を R の sem でやってみる：

y <- c(rnorm(16, 1), rnorm(16, 0), rnorm(16, 1), rnorm(16, 2))
x1 <- c(rep(0, 32), rep(1, 32))
x2 <- rep(c(rep(0, 16), rep(1, 16)), 2)

mycov1 <- cov(cbind(y, x1, x2, "x1:x2"=x1*x2))

model1 <- matrix(c(
 '   x1  -> y    ', 'b1', NA,
 '   x2  -> y    ', 'b2', NA,
 'x1:x2  -> y    ', 'b3', NA,
 '    y <-> y    ', 'e1', NA,
 '   x1 <-> x1   ', 'v1', NA,
 '   x2 <-> x2   ', 'v2', NA,
 'x1:x2 <-> x1:x2', 'v3', NA,
 '   x1 <-> x2   ', 'c1', NA,
 '   x1 <-> x1:x2', 'c2', NA,
 '   x2 <-> x1:x2', 'c3', NA
), ncol=3, byrow=TRUE)

library(sem)
result1 <- sem(model1, mycov1, 64)
summary(result1)

R の sem ではこれは次のようにも書ける：

model2 <- matrix(c(
 '   x1  -> y', 'b1', NA,
 '   x2  -> y', 'b2', NA,
 'x1:x2  -> y', 'b3', NA,
 '    y <-> y', 'e1', NA
), ncol=3, byrow=TRUE)

result2 <- sem(model2, mycov1, 64, fixed.x=c('x1','x2','x1:x2'))
summary(result2)

この結果は次の線型モデルでの結果と同じになるはず：

summary(lm(y ~ x1 * x2))

ここまでならわざわざ SEM を使う利点は無いが，SEM で表現できることが理解できれば，その応用範囲が非常に広いことがわかるだろう。

例えば，測定の信頼性を考慮して，潜在変数を被説明変数とした分散分析ができる。

f1 <- c(rnorm(16, 1), rnorm(16, 2), rnorm(16, 2), rnorm(16, 3))
y1 <- f1 * 0.5 + rnorm(64) # 4回の測定 y1, y2, y3, y4
y2 <- f1 * 0.5 + rnorm(64) # のきなみ信頼性が低い
y3 <- f1 * 0.6 + rnorm(64) #
y4 <- f1 * 0.6 + rnorm(64) #
x1 <- c(rep(0, 32), rep(1, 32))
x2 <- rep(c(rep(0, 16), rep(1, 16)), 2)

mycov2 <- cov(cbind(y1, y2, y3, y4, x1, x2, "x1:x2"=x1*x2))

model3 <- matrix(c(
 '   f1  -> y1', 'a1', NA,
 '   f1  -> y2', 'a2', NA,
 '   f1  -> y3', 'a3', NA,
 '   f1  -> y4',   NA,  1,
 '   x1  -> f1', 'b1', NA,
 '   x2  -> f1', 'b2', NA,
 'x1:x2  -> f1', 'b3', NA,
 '   y1 <-> y1', 'e1', NA,
 '   y2 <-> y2', 'e2', NA,
 '   y3 <-> y3', 'e3', NA,
 '   y4 <-> y4', 'e4', NA,
 '   f1 <-> f1', 'd1', NA
), ncol=3, byrow=TRUE)

result3 <- sem(model3, mycov2, 64, fixed.x=c('x1','x2','x1:x2'))
summary(result3)

MANOVA の結果と比べてみる：

summary(manova(cbind(y1, y2, y3, y4) ~ x1 * x2))

他にも，説明変数を潜在変数にしたり (潜在クラス分析 latent class analysis)，多層モデルを作ったり (階層線型モデル hierarchical linear models)，成長曲線との交互作用を調べたり (潜在曲線モデル latent curve models)，線型の範囲でもやれることは大量にある。

説明変数や被説明変数に潜在変数が使えることは，しばしば心理学，生物学，教育学などでの理論をより適切に反映することができ，望ましい。 例えば，誤差のない測定など無いのだから，指標から測定誤差の影響を除くことはほぼ普遍的に有意義である。ぜひやるべし。 古典的な分散分析，線型モデルは，測定誤差もその他の誤差も全部いっしょくたにして誤差項に押し込んでいるのだ。

一方で，SEM の結果は，ユーザが非常にフレキシブルに指定できるモデルに大きく依存しているので，モデルが適切かどうかが決定的に重要である。 SEM によって得られる恩恵は言わばこの「仮定の強さ」のおかげなので，その仮定が間違っていたら元も子もない。 モデルが複雑になればなるほど，その分野での理論のしっかりした検討を欠かさないようにしよう。

FWER 制御の理屈

閉検定手順によって FWER ≦ となる理屈は次の通りである:

まず，n 個の事象 について一般に

が成り立つ [point(1)] 。すなわち，複数の事象が「かつ」で結ばれた場合，その生起確率はそれらの内の１つの事象の生起確率を超えることはない。 本来は事象の積には ではなく を使うべきだが， 上記の母数空間の と区別しやすくするために，ここでは を使うことにする。

閉検定手順では，ある仮説 を（閉検定手順の意味で）棄却するには， それが部分空間として含む がすべて（通常の意味で）棄却されなければならない。 この の集まりを と書くことにする。 つまり， である。 仮説の集まり に含まれるすべての仮説が（通常の意味で）棄却されるという事象を ，仮説 が（閉検定手順の意味で）棄却されるという事象を と書くことにすると，仮説 が（閉検定手順の意味で）棄却される確率は

である [point(2)] 。また， に含まれる仮説を とすると，

である [point(3)] 。

いま，同時に検討したい関心ある帰無仮説を とする。 もしこれらが全部正しくて独立に（通常の意味で）水準 で検定されるなら， と批判されるところだ。 は について閉じているので， のすべての共通部分をとった仮説 も の要素である。 そしてこの は のどの仮説にも部分として含まれるから， のどの仮説を（閉検定手順の意味で）棄却するにもその前に が（通常の意味で）棄却されなければならない。 閉検定手順では の（通常の意味での）検定は有意水準 で行われる。 ここでもし， が正しくない帰無仮説であったなら，おそらく よりもだいぶ大きな確率で（通常の意味で）棄却されるであろう。 一方， が正しい帰無仮説であったなら，（通常の意味で）棄却される確率は 以下になる [point(4)] 。

さて，ここまでの話では について特に断りはなく，正しい仮説でも正しくない仮説でもよかった。 しかし，FWER は，帰無仮説が正しい場合にしか関係がない（そういう概念だから）。 当然ながら，関心のある n 個の帰無仮説のうち真に正しいのはどれとどれかなんて研究者には不明である。 とりあえず，n 個の仮説のうち m 個が正しい，と仮定しよう ( ) 。 この場合でも，正しい仮説 について共通部分 は必ず のすべてに要素として含まれる [point(5)] 。 すると， の少なくとも１つ以上が（閉検定手順の意味で）棄却される確率，すなわち FWER について，次の不等式が成り立つ:

このとき は正しい仮説なので， が（通常の意味で）棄却される確率 は point(4) のとおり 以下である。 従って FWER は 以下となる。

このことは，m 個の正しい仮説をどのように選んでも成り立つ。つまり，関心のある帰無仮説の集まりのうち本当に正しいものがいくつあろうとどれであろうと， すべての場合においてそれら正しい帰無仮説が１つ以上棄却される確率は 以下となる。

Holm–Bonferroni 法

閉検定手順の応用の１つとして，Holm-Bonferroni 法と呼ばれる手法がしばしば利用されている。 これは，各仮説 の（通常の意味での）検定にて，Bonferroni 修正を用いるという手法である。

例として，4群のうち1群を対照群として，これと残りの3群との平均値を比較したい場合を考える。関心のある仮説族 は，

である。ここから に関する閉包 (closure) は

となる。例えば， を（閉検定手順の意味で）棄却するには， が部分として含む，

をすべて（通常の意味で）棄却しなければならない。 については

の（通常の意味での）棄却が必要である。ここで，複数の極小仮説 (minimal hypotheses) が でつながっているもの，例えば や などを（通常の意味で）第一種過誤の確率 を守って検定するために，Bonferroni 不等式による調整を伴って対比較（例えば t 検定）しようと考える。 よって， を（通常の意味で）棄却するには，１回の t 検定の有意水準は を用いることになる。

を（通常の意味で）棄却するためには， のどれかで を下回る 値を得ればよい。 よって，実践的には， のすべてで t 検定の 値を算出して， それらを比べて一番小さな 値を出す仮説を特定し（仮に としよう）， その 値が を下回っているか確認する。 もし下回っていれなければ， は棄却できない。 この例の場合， の（通常の意味で）棄却は のすべてにおいて（閉検定手順の意味での）棄却に必要だから， が棄却できないなら はすべて（閉検定手順の意味で）棄却できないことになり，閉検定手順は終了する。

もし の 値が を下回っていれば， の t 検定の結果はその他に の（閉検定手順の意味での）棄却に必要なすべての仮説（ ）を棄却するだろう。なぜなら，Bonferroni 法に従えば，他の仮説の検定では よりも大きな有意水準（ または ）を用いるからである。 このことから， の t 検定によって が（通常の意味で）棄却されたなら，即刻， は（閉検定手順の意味で）棄却されることがわかる。

この時点では と についてはまだ結論が出ない。 次に と の t 検定の 値を比べて，小さい方を特定して（仮に としよう），残りの仮説の棄却に挑むことになる。 残りは だが， に関係し一番狭いのは なので，これに取り組む。 の 値が有意水準 を下回っていなければ，そこで終了。 下回っていれば同様に， は自動的に（通常の意味で）棄却されるので，（閉検定手順の意味で） が棄却される。 最後に について有意水準 で検討すれば終わりである。

このようにして，狭い（ でたくさん連結された）仮説を検定する方法として Bonferroni 法（他にも方法はあるのに）を選択したとき， 上記の閉検定手順の一般論よりももう少し単純な規則でこの手順を表現することができる:

1. 原子的な（ の無い）帰無仮説の数が m のとき，その中で一番小さな 値を得た仮説 について を下回っているかどうかを調べる。下回っていなければ終了。下回っていれば を棄却して次へ。
2. 二番目に小さな 値を得た仮説 について を下回っているかどうかを調べる。下回っていなければ終了。下回っていれば を棄却して次へ。
3. 同様に最後の１つの仮説まで続ける。

これが広く知られている Holm-Bonferroni 法の手順である。R の p.adjust.methods のデフォルト。

Shaffer の方法

別の例として，4 群の総当たり対比較をしたい場合を考える。関心のある仮説族 は，

よって， に関する閉包 は

例えば を（閉検定手順の意味で）棄却するには，

をすべて（通常の意味で）棄却する。

上節のように３つ以上の群が関わる仮説では Bonferroni 法を使うとしよう。 全部の 値を計算する。仮に， が一番 値が小さく， を下回るなら， は（閉検定手順の意味で）棄却される。

次に 値が小さいのは だとしよう。残りの仮説のうち， の（閉検定手順の意味での）棄却に必要なのは

である。すると，有意水準 で （ なぜならこれは と同じである）を検定するのが次のステップである。

上記の Holm–Bonferroni 法（最後に書き直した手順）に従えば，問答無用で の分母を 1 ずつ減らしていくので，二番目に 値が小さい仮説を検討する際は，有意水準は になる。 これが Shaffer の方法と Holm–Bonferroni 法との違いである。Shaffer の方法もたんに閉検定手順の一般的な理屈に従っているのであるが，Holm–Bonferroni 法はそれを上記のような憶えやすい手順に直したため，関心のある帰無仮説のセットによっては閉検定手順から（保守的過ぎる方向へ）ズレてしまうのだ。

よって Shaffer の方法のほうが Holm–Bonferroni 法よりも検出力が高くなる。