★ 検定結果の表示に関して ★
314. 検定結果の表示に関して yu-mo 2003/07/11 (金) 15:59
└316. Re: 検定結果の表示に関して 青木繁伸 2003/07/11 (金) 18:00
└317. Re^2: 検定結果の表示に関して yu-mo 2003/07/11 (金) 18:35
├321. Re^3: 検定結果の表示に関して 薬剤評価者 2003/07/11 (金) 22:52
└318. Re^3: 検定結果の表示に関して 青木繁伸 2003/07/11 (金) 18:57
└319. Re^4: 検定結果の表示に関して yu-mo 2003/07/11 (金) 19:16
└320. Re^5: 検定結果の表示に関して 青木繁伸 2003/07/11 (金) 19:48
└323. Re^6: 検定結果の表示に関して yu-mo 2003/07/12 (土) 09:50
└326. Re^7: 検定結果の表示に関して 薬剤評価者 2003/07/12 (土) 12:55
314. 検定結果の表示に関して yu-mo 2003/07/11 (金) 15:59
現在，微生物の環境における生存戦略に関する投稿論文を準備中なのですが，検定結果の表示に関して不明な点があり，是非ご意見をうかがいたいと考えています。
生育環境の異なる2つの微生物群について測定したデータ（データは順位変数）に関して，Mann-WhitneyのU検定を行いました。
その結果，非常に小さいP値が得られたのですが（10のマイナス10乗以下），この表示形式で迷っています。論文によっては得られたP値をそのまま表示しているものや，有意水準を設けて，それより少ないと表示しているものなど様々です。
また，有意水準と検出力との関係についての記述を読みますと，あまり小さなP値を表示するのはいかがなものかという考えも浮かんできました。
検定の結果を示す一般的な形式というのはあるのでしょうか?
ケースバイケースである場合は，どのような基準に基づいてその形式を選択したらよいのでしょうか?
ご意見，よろしくお願いします。
|
[このページのトップへ]
316. Re: 検定結果の表示に関して 青木繁伸 2003/07/11 (金) 18:00
ある値より小さい場合には，
P < 0.0001 というような表記でいいと思います。
（これは，従来の一律に P < 0.05 とか P < 0.01 というのとは違います）
|
[このページのトップへ]
317. Re^2: 検定結果の表示に関して yu-mo 2003/07/11 (金) 18:35
早速のご意見，ありがとうございます。
従来の一律な表記と違うとのことですが，これは，P値の小ささに意味があるとの解釈でよろしいのでしょうか?
（P値が小さければ小さいほど検定の信頼度が上がるなど）
個人的には
「こーんなに小さなP値が得られたんだ!すごいだろう!」
と，胸を張りたい気持ちがあるのです・・・
|
[このページのトップへ]
321. Re^3: 検定結果の表示に関して 薬剤評価者 2003/07/11 (金) 22:52
> 「こーんなに小さなP値が得られたんだ!すごいだろう!」
> と，胸を張りたい気持ちがあるのです・・・
こんなに無意味かつ無駄な努力をしたんだよ!!
と主張しているのといっしょですよ。
p<0.05で有意水準を定めたのなら，p=0.048で立証するのがプロ!
（さすがに0.049といえない自分が悲しい）
少し意地悪?
|
[このページのトップへ]
318. Re^3: 検定結果の表示に関して 青木繁伸 2003/07/11 (金) 18:57
> 従来の一律な表記と違うとのことですが，これは，P値の小ささに意味があるとの解釈でよろしいのでしょうか?
言葉をはしょりすぎました。
[<] と比較するのは P 値を表記するときの最小値ということです。
P 値を小数点以下3桁まで表示しようとしたとき，0.001 以上の数値は P = 0.032 のように = を使って表示しましょう。0.001 未満の値のときにだけ p < 0.001としましょうということ。
P = 0.00123456 のようなときには，P = 0.001 となりますね。
> （P値が小さければ小さいほど検定の信頼度が上がるなど）
> 個人的には
> 「こーんなに小さなP値が得られたんだ!すごいだろう!」
> と，胸を張りたい気持ちがあるのです・・・
検定におけるP値は，母数が同じであってもサンプルサイズが大きい場合にも小さくなりますので，一概に比較はできないということです。P 値ではなくて Effect size を比較するのがよいわけです。
|
[このページのトップへ]
319. Re^4: 検定結果の表示に関して yu-mo 2003/07/11 (金) 19:16
素早いご回答，感謝します。
> [<] と比較するのは P 値を表記するときの最小値ということです。
> P 値を小数点以下3桁まで表示しようとしたとき，0.001 以上の数値は P = 0.032 のように = を使って表示しましょう。0.001 未満の値のときにだけ p < 0.001としましょうということ。
> P = 0.00123456 のようなときには，P = 0.001 となりますね。
なるほど
では，その小数点以下3桁という表示基準はどのように決めるものなのでしょうか?
それは有意水準をどれくらい小さく取るかという，検定力との兼ね合いでバランスを取らなければならないという問題に帰着するのですか?
結局，一概に比較できないP値を10のマイナス10乗以下まで表示することにはあんまり意味がないということなのでしょうか?
|
[このページのトップへ]
320. Re^5: 検定結果の表示に関して 青木繁伸 2003/07/11 (金) 19:48
> では，その小数点以下3桁という表示基準はどのように決めるものなのでしょうか?
出力された数値を全桁表示する必要がないというのは万人が納得すると思います。とすると，次は，何桁出すかということになります。いろいろ基準はあげられていますが，http://aoki2.si.gunma-u.ac.jp/Hanasi/StatTalk/digits.html
一筋縄でいかない（理論と実践は違う）ということもありますね。
P 値は小数点以下2桁程度で十分（前出ページでは【有効桁2桁】）という人もいるのですが，メタアナリシスなどでは，報告された P 値を解析対象にするということもあるので3桁くらいは載せておく方がいいかな程度の基準でしょう。
有効桁と，小数点以下の桁数の関係ですが，P 値は取る値の範囲が決まっていて，なおかつ小さい P 値を表示する意味があるのかという疑問もあり，小数点以下3桁というような基準になっているかと思います。
> それは有意水準をどれくらい小さく取るかという，検定力との兼ね合いでバランスを取らなければならないという問題に帰着するのですか?
ちがいます。
> 結局，一概に比較できないP値を10のマイナス10乗以下まで表示することにはあんまり意味がないということなのでしょうか?
そうでしょうね。
そもそも，統計ソフトなどによる P 値の算出は，近似値なので，小数点以下10桁目以降などの数値が正確なものであるとは保証されないと思います。
|
[このページのトップへ]
323. Re^6: 検定結果の表示に関して yu-mo 2003/07/12 (土) 09:50
どうもありがとうございます，よくわかりました。
先生のサイト中に回答が存在していたのですね。気づきませんでした，申し訳ない・・・・
しかし，薬剤評価者さんのおっしゃるように，p=0.048で有意とするのがプロなら，p=0.052が得られて「有意ではない」とあきらめるのはちょっとイマイチな気がしますね。
ちょっと本題からは外れますが，実際問題，そんなp値が得られたときはどうするのですか?サンプルサイズを大きくしてみる?有意水準を変更する?p値をそのまま表示する?
勉強すればするほど統計学の奥深さに気づかされる毎日です。
微生物を工学的に扱う分野では，疫学，薬学，医学といった分野と比べて統計学が軽視されているような気がします。
頑張って勉強して，プロの方に笑われないくらいの論文を書きたいと思います。
|
[このページのトップへ]
326. Re^7: 検定結果の表示に関して 薬剤評価者 2003/07/12 (土) 12:55
> ちょっと本題からは外れますが，実際問題，そんなp値が得られたときはどうするのですか?サンプルサイズを大きくしてみる?有意水準を変更する?p値をそのまま表示する?
すいません，言葉足らずでしたね。実際は，10%〜20%失敗することを折り込んでいます。それに加えて，試験デザインを決定する際の，1.仮説の誤り，2.エフェクトサイズの読み違い，3.データのばらつきの読み違い，4.試験実施過程における問題，5.偶然などによりそういった結果となることがあります。なを，p=0.000001というのも，前記の考慮が正しくなかった（考慮しなかった?）ため得られるものです。だから威張れたものではないということです。
p=0.052であっても事前に設定した条件をクリアできなかった以上，試験は失敗です（p値の変更は問題外）。
立証が失敗したことを明記し，傾向が見られた(p=0.07程度までは通じるか?）として，事後解析（adjust, 対象を制限する）などを付け加えお茶を濁すことになるでしょう。そのうえで必要であれば，サンプルサイズを設定し直してやり直しとなります。
なお，失敗したことも貴重な情報なので公表することが望まれます。しかし，一般的には失敗したものは公表されず，成功したものしか公表されないので（publication bias），「公表された結果から物事を判断する」ことの危険性の元兇となっています。2年ほど前，医学領域の専門誌の編集者が共同声明を出したのですがその中に「失敗した試験の情報を望む」というのが含まれています（まあ，中心は製薬メーカーに対する批判だったのですが....）。
青木先生:貴重な掲示板を提供頂きありがとうございます。大変勉強になっております。
|
[このページのトップへ]
● 「統計学関連なんでもあり」の過去ログ--- 025 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る