「統計学関連なんでもあり」の過去ログ---021

★ ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離?? ★

　56　ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　TAKU　　2002/09/23 (月) 20:53
　　66　Re: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　　　　　2002/09/26 (木) 11:00
　　　68　Re^2: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　TAKU　　2002/09/26 (木) 17:31
　　　　80　Re^3: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　　　　2002/09/29 (日) 23:07
　　65　Re: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　sb812109　　2002/09/26 (木) 00:40
　　　67　Re^2: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　TAKU　　2002/09/26 (木) 17:24

56.　ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　TAKU　　2002/09/23 (月) 20:53

以前にも質問に対して貴重なご意見をいただきありがとうございます
また，わからないことができ連絡させていただきました
乱塊法を用いた発芽実験データを用いて
ロジスティック回帰分析をSASで行ったところ
Quasi-complete separation of data points detected
WARNING: The maximum likelihood estimate may not exist
というメッセージがでました
おそらく変数内のカテゴリーが多いために，
1セル内のデータ数が少なくなり，疑似完全分離が起きているようです
（1セル内が0のところがかなりあります）
OnlineDocをよく見たのですが解決法がわかりません
解決法をご存じの方よろしくお願いします
なおモデルは以下の通り
発芽の有無　=　種　+　ブロック　+　親（種）
n=1582，種3カテゴリー，ブロック8カテゴリー，親17カテゴリー
このようなケースで乱塊法データならば，ブロックを層とした条件付きロジスティック分析を使うのがよいとあるHPをみましたが，これは本当によい解決法でしょうか?
または，対数線形モデルで0のセルを0.5にするなどの処置がよいのでしょうか

　　　　　[このページのトップへ]

66.　Re: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　　　　　2002/09/26 (木) 11:00

> Quasi-complete separation of data points detected
> WARNING: The maximum likelihood estimate may not exist
> というメッセージがでました
> おそらく変数内のカテゴリーが多いために，
> 1セル内のデータ数が少なくなり，疑似完全分離が起きているようです
> （1セル内が0のところがかなりあります）

あなたの推測は間違えているのではないでしょうか。
まずは`Quasi-complete separation'の意味をちゃんと理解する必要があるでしょう。検索エンジンでもいくつも引っかかります。以下なども簡潔でわかりやすいのでは?結局，問題になっている変数を除けばいいのでは?
http://www.zi.unizh.ch/software/unix/statmath/sas/sasdoc/stat/chap39/sect21.htm

　　　　　[このページのトップへ]

68.　Re^2: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　TAKU　　2002/09/26 (木) 17:31

アドバイス本当にありがとうざいます

> あなたの推測は間違えているのではないでしょうか。

推測というのは何を指すのでしょうか?
すみません.わかりませんでした

> まずは`Quasi-complete separation'の意味をちゃんと理解する必要があるでしょう。検索エンジンでもいくつも引っかかります。以下なども簡潔でわかりやすいのでは?

以下のwebサイトをもう一度読んでみます
ありがとうございます

>結局，問題になっている変数を除けばいいのでは?
> http://www.zi.unizh.ch/software/unix/statmath/sas/sasdoc/stat/chap39/sect21.htm

67の項目でも述べましたが
仮説　種間の生存率が違うか　
を検定しますが，集計表を見る限り他の調整すべき変数の”親””ブロック”間で発芽率が結構違うため，変数を除去するのはあまり適当ではないと思います

　　　　　[このページのトップへ]

80.　Re^3: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　　　　2002/09/29 (日) 23:07

> > あなたの推測は間違えているのではないでしょうか。
>
> 推測というのは何を指すのでしょうか?
> すみません.わかりませんでした

> おそらく変数内のカテゴリーが多いために，
> 1セル内のデータ数が少なくなり，疑似完全分離が起きているようです
> （1セル内が0のところがかなりあります）

というところです。

　　　　　[このページのトップへ]

65.　Re: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　sb812109　　2002/09/26 (木) 00:40

「擬似完全分離」の意味は私には判りませんが，，，。

（1）統計解析法の問題ではなく，データの問題では?
　　　MLEが求まらない可能性は，
　　　1-1）箸にも棒にも掛からないどうしようもないデータ?（失礼）
　　　1-2）データが完璧で”統計を使うまでもなく!”結果が明らかなデータ?

（2）0のセルが多く計算が出来ないのであれば，私でしたら，もっと大きな
　　　カテゴリーに分割表をまとめます。
　　　精確を目指すが為に答えが得られないよりも，当たらずとも遠からずの答え
　　　が得られた方がいいと考えるからです。

集計の結果はどうでした?

仮説検定がどうのp値がどうの等，小難しいことは一切無視して，集計だけでも
当たらずとも遠からずの答えを得るのは簡単だと思います。

極めて精確である。しかし，いつもずれている。
よりも，
アバウトである。しかし，的は外していない。
方がいいと思います。個人の性格の反映とは思いますが。

　　　　　[このページのトップへ]

67.　Re^2: ロジスティック回帰分析，最尤推定値が収束しない?疑似完全分離??　　TAKU　　2002/09/26 (木) 17:24

毎度アドバイスをいただき本当に感謝しております

>MLEが求まらない可能性は，
>1）箸にも棒にも掛からないどうしようもないデータ?（失礼）

そうです
実験系が大きく応答変数を除いて1セル内が4～36個になっていて
応答変数（発芽の有/無）を入れると，0～2のセルが半数近くになってしまいます

>（2）0のセルが多く計算が出来ないのであれば，私でしたら，もっと大き
>なカテゴリーに分割表をまとめます。

仮説　種間の生存率が違うか　
を検定しますが，集計表を見る限り他の調整すべき変数の”親””ブロック”間で発芽率が結構違うため，変数を除去するのは適当ではありません

具体的にどのような手順を用いるのがよいでしょうか

例えば

1）発芽の有無　=　種　+　ブロック
か
2）発芽の有無　=　種　+　親（種）
ブロックをまとめる場合1），親の場合2）を用いて
カテゴリー間のwald検定を多重比較して
発芽率に有意差がみられないカテゴリーを1つにまとめる
などの方法が考えられますが，これでよろしいでしょうか?

> 集計の結果はどうでした?

親，ブロックの周辺合計の双方の発芽率をみても
おおむね種B2>A=B1という傾向があります

　　　　　[このページのトップへ]