No.02719 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【ごう】 2007/02/12(Mon) 22:55
質問の(1)はAkaike weightについて勉強されると良いかもしれません。
わかりやすいのはこちらでしょうか。
http://homepage.mac.com/daichis/osjstat/files/2006Dai.pdf
検索すると，Rでの算出方法も分かると思います。
No.02731 Re: 重回帰→ステップワイズでAIC比較でOK？ 【マメ蔵】 2007/02/13(Tue) 18:27
ごうさん，コメントありがとうございます。
早速やってみました。
Rでのやりかたは見つからなかったのですが適当に自分で計算させました。
結果，各モデルのAICの隔たりが大きすぎて，かつ構造的にfullモデルが最も良いモデルになっているので，ほぼすべての要因が「変数の重要性＝1」になってしまいました…うう〜
ちなみにΔiは小さい順に 0，17.33，63.08，234.33，295.30，310.86 です。
No.02733 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【にゃんちゅう】 2007/02/14(Wed) 16:30
>各場所における各年のデータをShafferの方法で解析すると，8セット（2カ所×4年）のうち5セットで要因Cが有意に最も大きな割合を占めていて
……
状況がよくのみこめないのですが，8セットをセットごとに1要因分散分析をしたのでしょうか？
生存率の分析なら反射的に生存分析を思いつきますが，重回帰分析の従属変数は何なんでしょう？ そのときセットはどのように組み込んでいるのでしょうか？
全体を分散分析（2カ所×4年をランダム要因とする）して効果量を見てはいけないのでしょうか？
No.02751 変なことしてる？ 【マメ蔵】 2007/02/15(Thu) 16:09
にゃんちゅうさん
いやいや，なんか普通じゃないことをしているとは自分でも思ってるんですが…
>8セットをセットごとに1要因分散分析をしたのでしょうか？
そうです。
このときは「各要因による死亡が果実内での死亡に占める割合」を角変換後に総当たりで分散分析しました。
>生存率の分析なら反射的に生存分析を思いつきますが
生存分析は「時間を目的変数とする」ということですが，私のデータに時間の変数は含まれていないので当てはまらないようです。
>重回帰分析の従属変数は何なんでしょう？
果実内での死亡数です。
>そのときセットはどのように組み込んでいるのでしょうか？
ええと，AICを出したときはぜんぶごた混ぜでした。
>全体を分散分析（2カ所×4年をランダム要因とする）して効果量を見てはいけないのでしょうか？
掲示板違いだったら申し訳ないのですが，Rでの結果を貼付けてみます（結果の見方がおぼつかないので）。
まず分散分析表から。
ーーーーーーーーーーーーー以下Df Deviance Resid. Df Resid. Devーーーーーーーーーーーーーーーーーーー以上
NULL 51 47.108
A 0 2.842e-14 51 47.108
B 0 0.000 51 47.108
C 1 47.108 50 2.354e-14
D 0 0.000 50 2.354e-14
E 0 0.000 50 2.354e-14
どうしてこうなるのかは分からないのですが，とにかく何かを言えるような結果ではない…ですよね？
次にglmの結果の中身（ summary(glm()) ）です。
-------------------------------------以下Call:------------------------------------------------以上
glm(formula = death ~ A + B + C + D + E, family = poisson,
subset = c(site, year))
Deviance Residuals:
Min 1Q Median 3Q Max
0.00e+00 0.00e+00 0.00e+00 5.96e-08 5.96e-08
Coefficients: (4 not defined because of singularities)
Estimate Std. Error z value Pr(>|z|)
(Intercept) 2.421935 0.106008 22.847 < 2e-16 ***
A NA NA NA NA
B NA NA NA NA
C 0.031878 0.004792 6.652 2.9e-11 ***
D NA NA NA NA
E NA NA NA NA
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
(Dispersion parameter for poisson family taken to be 1)
Null deviance: 4.7108e+01 on 51 degrees of freedom
Residual deviance: 2.3537e-14 on 50 degrees of freedom
AIC: 258.89
Number of Fisher Scoring iterations: 3
なぜ要因C以外でNAとなるのか分からなくてこの結果は保留にしてありました（ゼロが多すぎるとダメとか？）。
もしやこの結果から「要因Cが最も重要なのだ」と言えるのでしょうか。
No.02753 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【青木繁伸】 2007/02/15(Thu) 18:58
A, B, D, E が NA になっているのは，それらが従属関係になっている（多重共線性がある）からでしょう。
果実内での死亡数＝A+B+C+D+E という関係で，A,B,C,D,E を独立変数として 果実内での死亡数を予測するというのも，本質的に多重共線性を暗示していると思います。
No.02756 次のステップ 【マメ蔵】 2007/02/15(Thu) 22:04
青木先生，ご指摘ありがとうございます。
試しに果実内ではなく卵から羽化までの死亡を従属変数にすると，計算はしてくれるようになりました。Coefficients:ところが今度は結果がひどく偏っていて，どの要因がどうと言えないような…
Estimate Std. Error z value Pr(>|z|)
(Intercept) 2.8729933 0.0414523 69.308 < 2e-16 ***
A -0.0694974 0.0096656 -7.190 6.47e-13 ***
B -0.0002967 0.0085409 -0.035 0.972
C 0.0482156 0.0020577 23.432 < 2e-16 ***
D 0.0071255 0.0007401 9.628 < 2e-16 ***
E 0.0548803 0.0115335 4.758 1.95e-06 ***
当然ではあります，ある要因による死亡が増えれば全体の死亡も増えますから。
今日のところはここまでにします。
No.02757 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【青木繁伸】 2007/02/15(Thu) 23:26
全角スペースを入れて桁揃えしようとしても無理です。
出力部分を ＜pre＞ 〜 ＜/pre＞ でくくればよいです。
やはり，多重共線性があるのだと思いますけど？
曲がりなりにも計算できるようになったのは，完全従属でない（誤差のおかげ）からでしょう。
トレランスを計算してみてください。
http://aoki2.si.gunma-u.ac.jp/R/tolerance.html
データにおいて，合計=部分1+部分2+部分3 という関係式があって，合計を，部分1，部分2，部分3で予測する予測式で，合計の予測値=a*部分1+b*部分2+c*部分3 というのをやろうとしているというのと同じなんですよね。
a=b=c=1 というのが答えになるに決まっていると思うのだけど？？
No.02829 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【マメ蔵】 2007/02/21(Wed) 21:57
トレランスを計算しました。
（データ集計用のプログラムにバグを発見したので，先に投稿した結果と同じデータセットではありませんが，構造は同じです）tolerance VIF他サイトでVIF>10のとき多重共線性アリとみなすとか，トレランス<0.1になると要注意とかいう記述がありましたが，そういう判断でいいのでしょうか。
Var1 0.3472356 2.879889
Var2 0.4617995 2.165442
Var3 0.5276211 1.895299
Var4 0.4229676 2.364247
Var5 0.5585739 1.790273
>合計の予測値=a*部分1+b*部分2+c*部分3 というのをやろうとしているというのと同じなんですよね。
No.2751でお見せした結果はその通りのことをやりました。
No.2756の方は，従属変数が果実”内”での死亡だけでなく果実”外”での死亡を含みますので，果実”内”での死亡要因A+B+C+D+Eが小さい値だったとしても従属変数も小さいとは限りません。
>a=b=c=1 というのが答えになるに決まっていると思うのだけど？？
a+b+c=1でしょうか？
私の目的にとっては，その事自体は問題ではないのです。どれが一番貢献しているのか，はっきり言えれば良いのですけれど…
8回（2カ所×4年）Shafferの方法を繰り返してみたのですが，そのことについてはどう思われますか？
やはり場所と年の効果を含めなければならないでしょうか。
No.02830 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【青木繁伸】 2007/02/21(Wed) 22:07
> VIF>10のとき多重共線性アリとみなすとか，トレランス<0.1になると要注意とかいう記述がありましたが，そういう判断でいいのでしょうか
いいですよ。
> No.2751でお見せした結果はその通りのことをやりました。
No.2756の方は，従属変数が果実”内”での死亡だけでなく果実”外”での死亡を含みますので，果実”内”での死亡要因A+B+C+D+Eが小さい値だったとしても従属変数も小さいとは限りません。
追試をするための情報がちゃんと与えられていないので，回答も間違った方向へ向いていますね。
> a+b+c=1でしょうか？
あなたが最初言っていたのは，
> 合計の予測値=a*部分1+b*部分2+c*部分3 というのをやろうとしているというのと同じなんですよね。
としか思えなかったので，その式が成り立つのは a=b=c=1 以外にないでしょうと書いたまでです（部分の（重み1の）足し算が合計ですよね）
データとあなたの意図がよく分からないので，何ともいえなくなりました。
> 8回（2カ所×4年）Shafferの方法を繰り返してみたのですが，そのことについてはどう思われますか？
さあ？何をどうやったのかもよく分からないので。パス。
No.02840 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【マメ蔵】 2007/02/22(Thu) 23:01
a=b=c=1については漸く理解しました。
何度も書かせてしまってごめんなさい。
とにかく元データを見せよとの仰せと解釈しました。長くて恐縮ですが貼付けてみます。
邪魔でしたら消してください。
burrow - emerge = A+B+C+D+E = seedD です。ちょっと見にくくてすみません。
burrow emerge A B C D E egg totalD year site seedD
1 25 0 0 0 25 0 0 32 32 a M 25
2 16 0 0 0 11 5 0 24 24 a M 16
3 39 1 0 0 34 3 1 69 68 a M 38
4 68 1 4 12 35 7 9 124 123 a M 67
5 16 1 0 0 13 0 2 31 30 a M 15
110 0 0 0 0 0 0 0 0 0 b M 0
210 0 0 0 0 0 0 0 1 1 b M 0
32 1 0 0 0 1 0 0 1 1 b M 1
41 0 0 0 0 0 0 0 2 2 b M 0
51 2 0 0 0 0 2 0 36 36 b M 2
6 2 0 0 0 2 0 0 10 10 b M 2
7 10 2 0 0 4 3 1 13 11 b M 8
8 39 1 0 0 33 2 3 60 59 b M 38
9 42 4 5 0 27 3 3 54 50 b M 38
10 9 0 0 0 9 0 0 23 23 b M 9
11 43 0 0 0 32 9 2 50 50 b M 43
12 4 1 0 0 2 0 1 32 31 b M 3
13 0 0 0 0 0 0 0 3 3 b M 0
14 0 0 0 0 0 0 0 11 11 b M 0
15 4 0 0 0 3 1 0 8 8 b M 4
16 1 0 0 0 1 0 0 1 1 b M 1
17 1 0 0 0 0 1 0 4 4 b M 1
18 6 0 0 0 2 4 0 35 35 b M 6
19 2 1 0 0 1 0 0 4 3 b M 1
20 3 0 0 0 2 1 0 3 3 b M 3
21 0 0 0 0 0 0 0 8 8 b M 0
22 1 0 0 0 1 0 0 2 2 b M 1
23 0 0 0 0 0 0 0 3 3 b M 0
24 0 0 0 0 0 0 0 1 1 b M 0
25 1 0 0 0 1 0 0 7 7 b M 1
26 5 0 0 0 5 0 0 11 11 b M 5
111 0 0 0 0 0 0 0 0 0 c M 0
211 1 0 0 0 1 0 0 1 1 c M 1
33 19 1 1 0 11 4 2 28 27 c M 18
42 2 1 0 0 0 1 0 3 2 c M 1
52 4 0 0 0 0 4 0 35 35 c M 4
61 27 0 0 0 10 17 0 36 36 c M 27
71 4 0 0 0 0 4 0 17 17 c M 4
81 13 0 0 0 11 2 0 59 59 c M 13
91 8 0 0 0 7 1 0 43 43 c M 8
101 4 0 0 0 4 0 0 5 5 c M 4
112 29 8 0 1 12 6 2 33 25 c M 21
121 24 9 0 0 4 2 9 35 26 c M 15
131 46 16 4 9 10 1 6 52 36 c M 30
141 22 0 0 0 17 5 0 52 52 c M 22
151 44 2 0 1 27 11 3 61 59 c M 42
161 25 5 1 0 10 3 6 33 28 c M 20
171 8 0 0 0 6 2 0 14 14 c M 8
181 4 0 0 0 1 1 2 19 19 c M 4
191 109 16 9 0 25 40 19 220 204 c M 93
201 46 2 1 6 24 3 10 92 90 c M 44
212 114 18 5 3 43 19 26 181 163 c M 96
221 31 1 2 0 20 4 4 78 77 c M 30
231 4 0 0 0 4 0 0 18 18 c M 4
241 4 0 0 0 4 0 0 6 6 c M 4
251 5 0 0 0 4 1 0 13 13 c M 5
261 9 1 0 0 6 1 1 15 14 c M 8
27 30 2 0 0 13 12 3 48 46 c M 28
28 10 1 0 0 6 3 0 15 14 c M 9
29 0 0 0 0 0 0 0 4 4 c M 0
30 3 0 0 0 0 3 0 4 4 c M 3
31 5 0 0 0 4 1 0 15 15 c M 5
113 0 0 0 0 0 0 0 0 0 d M 0
213 7 0 0 0 3 4 0 22 22 d M 7
34 9 0 0 0 7 2 0 14 14 d M 9
43 6 0 0 0 2 4 0 34 34 d M 6
53 40 1 1 0 21 12 5 137 136 d M 39
62 30 0 0 0 17 13 0 83 83 d M 30
72 72 0 14 0 42 7 9 134 134 d M 72
82 58 0 1 0 30 26 1 145 145 d M 58
92 26 0 2 0 10 12 2 101 101 d M 26
102 33 0 0 0 28 0 5 122 122 d M 33
114 189 5 18 0 51 99 16 243 238 d M 184
122 32 0 0 0 14 15 3 55 55 d M 32
132 15 0 0 0 4 11 0 35 35 d M 15
142 139 0 0 0 33 106 0 192 192 d M 139
152 43 0 0 0 11 28 4 73 73 d M 43
162 18 0 0 0 12 5 1 46 46 d M 18
115 617 16 489 27 0 63 22 881 865 a K 601
214 3 1 1 0 0 1 0 11 10 a K 2
35 11 6 3 0 2 0 0 34 28 a K 5
44 48 12 14 11 4 3 4 86 74 a K 36
54 25 2 4 8 5 6 0 33 31 a K 23
64 22 2 0 0 7 9 4 40 38 a K 20
74 9 6 1 0 0 1 1 20 14 a K 3
84 8 1 0 0 0 1 6 9 8 a K 7
1101 294 20 144 0 43 56 31 410 390 b K 274
252 85 5 17 0 43 18 2 106 101 b K 80
311 65 4 7 0 44 2 8 98 94 b K 61
411 53 4 4 0 29 11 5 79 75 b K 49
511 78 0 0 0 50 28 0 114 114 b K 78
611 79 1 2 0 50 24 2 124 123 b K 78
711 109 1 17 0 52 34 5 176 175 b K 108
811 168 13 34 0 75 33 13 274 261 b K 155
93 222 7 83 0 47 53 32 541 534 b K 215
103 46 2 31 0 5 0 8 88 86 b K 44
116 16 0 9 0 2 0 5 32 32 b K 16
123 292 4 63 0 71 125 29 587 583 b K 288
133 35 0 17 0 0 6 12 102 102 b K 35
143 57 8 24 0 6 7 12 202 194 b K 49
153 4 0 0 0 0 4 0 69 69 b K 4
163 93 0 0 0 56 37 0 138 138 b K 93
173 75 0 0 0 14 61 0 144 144 b K 75
1111 345 0 16 1 226 93 9 480 480 c K 345
262 163 0 0 0 125 38 0 232 232 c K 163
321 163 3 7 4 107 34 8 263 260 c K 160
421 200 3 8 7 125 44 13 432 429 c K 197
521 37 2 0 0 25 9 1 83 81 c K 35
621 105 2 4 0 54 28 17 447 445 c K 103
721 130 4 11 0 59 56 0 219 215 c K 126
821 22 0 0 0 17 3 2 54 54 c K 22
911 127 4 0 0 91 29 3 280 276 c K 123
1011 13 3 0 0 6 3 1 23 20 c K 10
1121 13 0 0 0 13 0 0 30 30 c K 13
1211 28 0 0 0 20 8 0 93 93 c K 28
1311 12 0 0 0 9 3 0 37 37 c K 12
1411 3 1 0 0 2 0 0 4 3 c K 2
1511 77 20 33 0 7 4 13 425 405 c K 57
1611 5 2 2 0 0 0 1 15 13 c K 3
1711 16 0 0 0 11 5 0 44 44 c K 16
182 30 1 0 0 18 11 0 91 90 c K 29
192 4 1 0 1 1 1 0 14 13 c K 3
202 13 0 0 3 3 3 4 31 31 c K 13
215 2 0 0 0 2 0 0 8 8 c K 2
222 2 0 0 0 2 0 0 3 3 c K 2
232 14 0 0 0 11 3 0 19 19 c K 14
242 2 0 0 0 0 2 0 6 6 c K 2
1131 5 0 0 0 5 0 0 20 20 d K 5
271 20 0 0 0 12 5 3 46 46 d K 20
331 5 0 0 0 5 0 0 25 25 d K 5
431 3 0 0 0 3 0 0 23 23 d K 3
531 15 0 0 0 13 2 0 27 27 d K 15
63 12 0 0 0 10 2 0 22 22 d K 12
73 9 0 0 0 8 1 0 11 11 d K 9
83 2 0 0 0 2 0 0 4 4 d K 2
921 0 0 0 0 0 0 0 2 2 d K 0
1021 81 4 0 0 65 7 5 133 129 d K 77
1141 27 0 0 0 26 1 0 52 52 d K 27
1221 2 0 0 0 2 0 0 2 2 d K 2
1321 24 9 0 0 2 4 9 32 23 d K 15
1421 5 0 0 0 5 0 0 17 17 d K 5
1521 8 0 0 0 6 2 0 42 42 d K 8
1621 13 0 0 0 11 2 0 33 33 d K 13
172 34 0 0 0 33 1 0 134 134 d K 34
1811 18 0 0 0 14 4 0 46 46 d K 18
1911 3 0 0 0 3 0 0 3 3 d K 3
2011 2 0 0 0 2 0 0 2 2 d K 2
2111 33 1 0 0 28 3 1 67 66 d K 32
2211 11 0 0 0 11 0 0 26 26 d K 11
2311 16 0 0 0 14 2 0 29 29 d K 16
2411 4 0 0 0 2 2 0 4 4 d K 4
No.02841 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【青木繁伸】 2007/02/22(Thu) 23:14
> A+B+C+D+E = seedD
まさに，それについては，seedD について，A,B, C, D, E での予測式において，A,B,C,D,E の係数は 1 になっていますね> summary(lm(seedD~A+B+C+D+E, df))まあ，問題は，このデータから何が言いたくて，そのためにはどのように料理すればよいのかと言うことでしょう。
Call:
lm(formula = seedD ~ A + B + C + D + E, data = df)
Residuals:
Min 1Q Median 3Q Max
-1.688e-13 -3.429e-15 2.238e-15 4.476e-15 7.674e-14
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 8.095e-15 2.417e-15 3.349e+00 0.00103 **
A 1.000e+00 8.007e-17 1.249e+16 < 2e-16 ***
B 1.000e+00 1.038e-15 9.638e+14 < 2e-16 ***
C 1.000e+00 9.574e-17 1.044e+16 < 2e-16 ***
D 1.000e+00 1.486e-16 6.731e+15 < 2e-16 ***
E 1.000e+00 4.421e-16 2.262e+15 < 2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
No.02842 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【青木繁伸】 2007/02/22(Thu) 23:23
そんなに新しい分析手法ではないようですが，「共分散比」というのを調べてみてはいかがでしょうか。
センター試験の成績にどの教科がどの程度寄与しているのか，みたいなことを分析する手法のようですよ。
http://aoki2.si.gunma-u.ac.jp/R/kbh.html> kyo.bunsan.hi(df[,3:7]) # Var1 ~ Var5 は A ~ E に対応
Var1 Var2 Var3 Var4 Var5
44.601963 2.152596 24.949330 22.528191 5.767920
No.02848 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【ファン】 2007/02/23(Fri) 19:12
No.2751 でマメ蔵さんはポアソン回帰を用いられてますが，データ全体を見ると，確率モデルとしては多項分布が近いような。
つ まり1つの卵の運命が A, B, …, 生存 とあって，対応する各確率でその運命が決まる。データ表の各行は，卵の総数 11867 個の観測値を区分集計したもの。各卵の運命はローカルには独立ではない（生存競争あり）。しかしグローバルにはほぼ独立と見なせるのではないか…。全デー タから各運命の確率を推定，次に年別地点別の差があるかどうかを運命別に検定…と言った感じ。
No.02855 Re: 主要因解析：重回帰→ステップワイズでAIC比較でOK？ 【マメ蔵】 2007/02/26(Mon) 12:31
青木先生
ご丁寧にありがとうございます。共分散比，勉強してみます。
ファンさん
重要な示唆をありがとうございます。参考にさせて頂きます。
● 「統計学関連なんでもあり」の過去ログ--- 040 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る