206.　評価の不公平の是正について　M1　2003/06/26 (木) 17:48
└207.　Re: 評価の不公平の是正について　青木繁伸　2003/06/26 (木) 21:02
　└208.　Re^2: 評価の不公平の是正について　M1　2003/06/26 (木) 22:22
　　└209.　Re^3: 評価の不公平の是正について　青木繁伸　2003/06/26 (木) 23:17
　　　└211.　Re^4: 評価の不公平の是正について　青木繁伸　2003/06/26 (木) 23:24
　　　　└212.　Re^5: 評価の不公平の是正について　M1　2003/06/27 (金) 00:10
　　　　　├215.　Re^6: 評価の不公平の是正について　ひの　2003/06/27 (金) 12:00
　　　　　└213.　Re^6: 評価の不公平の是正について　青木繁伸　2003/06/27 (金) 00:35
　　　　　　└217.　Re^7: 評価の不公平の是正について　青木繁伸　2003/06/27 (金) 12:11
　　　　　　　└218.　センター　科目間　調整　質問です。　2003/06/27 (金) 22:19
　　　　　　　　└219.　Re: センター　科目間　調整　青木繁伸　2003/06/27 (金) 23:11

206.　評価の不公平の是正について　M1　　2003/06/26 (木) 17:48 人事評価で，評価担当者ごとの不公平をなくして，ある1つの基準で評価対象者を比較したいのですが，何かいい手法というのはあるのでしょうか?ご教授いただけますようお願いします。

　　　　　[このページのトップへ]

207.　Re: 評価の不公平の是正について　青木繁伸　　2003/06/26 (木) 21:02 > 人事評価で，評価担当者ごとの不公平をなくして，ある1つの基準で評価対象者を比較したいのですが，何かいい手法というのはあるのでしょうか?ご教授いただけますようお願いします。 状況がよくわからないですが，評価基準が一つで，評価担当者が複数でということですか。 公平と言うことが評価担当者間の評価の偏りがないようにということなら，それは無理でしょう。 ある一人の対象者について，評価者全員が評価して，その平均値を評価値とするということを，全員に行えばそれは公平でしょうね。

　　　　　[このページのトップへ]

208.　Re^2: 評価の不公平の是正について　M1　　2003/06/26 (木) 22:22 > 状況がよくわからないですが，評価基準が一つで，評価担当者が複数でということですか。 > > 公平と言うことが評価担当者間の評価の偏りがないようにということなら，それは無理でしょう。 > > ある一人の対象者について，評価者全員が評価して，その平均値を評価値とするということを，全員に行えばそれは公平でしょうね。 評価する人が4人，評価される人が評価する人1人につき10人前後いて，ある共通の基準に従って1000点満点で採点します。この採点のときに甘く評価する人，厳しく評価する人の間で点数の差が出ると思います。この点数の差を是正したいという意図です。 私が今考えているのが，まず全体の平均と分散を求め，それと同じになるように各評価者の採点結果の期待値と分散を全体のものと一致するように訂正して計算するという方法ですが，これだとどのような問題点が出てくるのでしょうか?

　　　　　[このページのトップへ]

209.　Re^3: 評価の不公平の是正について　青木繁伸　　2003/06/26 (木) 23:17 各評価者が受け持つ評価対象者が違うのですから，それを無理矢理そろえるとかえって問題でしょう。 極端な場合を考えればわかります。 評価者Aが受け持った被評価者群aは，評価が高い者が多く，平均点が高い。 評価者Bが受け持った被評価者群bは，評価が低い者が多く，平均点が低い。 a,b 群の平均値と分散を，全体の平均値と分散に等しくなるように各群の平均値・分散をそろえると，どうなりますか? 面倒くさいので分散は同じだったと仮定すれば，換算はa群の得点は軒並み引き下げられ，b群の得点は一律に引き上げられます。 評価者Aが受け持った被評価者aが不利を被りますね。 これに，分散が関わると話はもっとやっかいになります。 公正な評価をするためには，全評価者が全被評価者を評価する以外にないでしょう。 ちなみに，質問者が言っている「ある共通の基準に従って1000点満点で採点します」というのは，評価者間で同じ基準で評価しているという保証にはなっていない。質問者はそれに引き続いて「この採点のときに甘く評価する人，厳しく評価する人の間で点数の差が出る」ということを言っているわけです。 つまり，評価のマニュアルは統一されているが，そのマニュアルに沿って評価する際には同じ基準で採点されるわけではない。そうならば，それは，共通の基準で評価されたデータとはもはや言えない。 この状況は，例えばこんなことに似ている（突き詰めれば同じ） ある大学の入学試験では，受験生は英語，数学，物理，日本史の四科目から一科目だけ選んで受験する。いずれも100点満点で採点する。当然，それぞれの科目の平均値・分散は異なる。合否判定をするとき，どの科目を選んだかによらない，公平な合否判定法はあるか。 同じ所 　評価者が4人→受験科目が四科目 　被評価者は各10人→それぞれの科目を受験する受験生がいる 　被評価者は一人の評価者だけに評価される→受験科目は一科目 　共通の基準に従って1000点満点で評価→100点満点で評価 　甘く評価する人と厳しく評価する人→教科によって難易がある 　得点に差が出てしまう→得点に差が出る 　出た得点の差が評価者によるものか被評価者の質によるものかわからない→得点の差が教科の難易度によるものか受験者の質によるものかわからない いずれの場合も，公平な比較法（点数換算法）などはない

　　　　　[このページのトップへ]

211.　Re^4: 評価の不公平の是正について　青木繁伸　　2003/06/26 (木) 23:24 大学入試の場合で，公平な合否判定方式は， 「受験生は4科目全部を受ける。そして，合計点で合否判定する」 または， 「受験生は数学だけ受験する，そして，数学の得点で合否判定する」 （数学でなくても英語でも，物理でも，日本史でもいい，要するに大学が1科目を指定する） 人事評価のときに，これと同じことをするにはどうやればいいかはもうわかりますね。

　　　　　[このページのトップへ]

212.　Re^5: 評価の不公平の是正について　M1　　2003/06/27 (金) 00:10 > 大学入試の場合で，公平な合否判定方式は， > 「受験生は4科目全部を受ける。そして，合計点で合否判定する」 > または， > 「受験生は数学だけ受験する，そして，数学の得点で合否判定する」 > （数学でなくても英語でも，物理でも，日本史でもいい，要するに大学が1科目を指定する） やはり，全評価しかなさそうですね。 ところで，センター試験とかで例えば物理と化学で難易度が違って，点数を訂正する場合があると思うんですが，そのときはどいう統計処理をしているのでしょうか? このアイデアは応用できそうな気がしますが・・・。

　　　　　[このページのトップへ]

215.　Re^6: 評価の不公平の是正について　ひの　　2003/06/27 (金) 12:00 > ところで，センター試験とかで例えば物理と化学で難易度が違って，点数を訂正する場合があると思うんですが，そのときはどいう統計処理をしているのでしょうか? > このアイデアは応用できそうな気がしますが・・・。 　センター試験くらい大規模だと，各教科を受ける受験生の学力がほぼ等しいと仮定するのはあまり無理もないし，また他の共通受験科目の成績から確かめることもできますが，聞いた話では小さな大学の入試でゲタをはかせる対象の科目の受験者が二人なんて言うケースもあったそうで…(^^;)。それはその二人がアホなたけじゃん!と考えるのが普通ですよね。

　　　　　[このページのトップへ]

213.　Re^6: 評価の不公平の是正について　青木繁伸　　2003/06/27 (金) 00:35 ところで，センター試験とかで例えば物理と化学で難易度が違って，点数を訂正する場合があると思うんですが，そのときはどいう統計処理をしているのでしょうか? > このアイデアは応用できそうな気がしますが・・・。 下駄をはかせているだけでしょう。 しかも，平均得点差が一定以内のときにはなんの調整もしない。 貴方の行っているのは，偏差値換算の一種ですが，基本的には，違った物差しで測った違った物を，同じ基準で比較することがそもそも無理。 インチ尺で測ったダイコンと，センチ尺で測ったゴボウはどっちが長いかは単位換算すればわかる。 しかし，それは，ある決まった長さを測った場合に，インチとセンチではどういう関係式があるかがわかっているから。

　　　　　[このページのトップへ]

217.　Re^7: 評価の不公平の是正について　青木繁伸　　2003/06/27 (金) 12:11 > 下駄をはかせているだけでしょう。 > しかも，平均得点差が一定以内のときにはなんの調整もしない。 補足しておきます。 http://hiw.oo.kawai-juku.ac.jp/nyushi/center/98/chosei-3.html より，抜粋 基本的な考え方 著しい平均点差が生じないよう作題の段階でできる限りの努力を払うが，それでも科目間で大幅な平均点差が生じ，これが試験問題の難易差によるものと認められる場合に得点調整を行う。 得点調整は，行えば行ったで新たな不公平感が生じる措置なので，調整後できるだけ受験者全体の不公平感が少なくなるような方式とする。 また，得点調整を実施する場合は，受験者の心理に配慮し，素点は下げないことを原則とする。 得点調整の方法 上記の各科目間で，原則として，20点以上の平均点の平均点差が生じ，これが試験問題の難易差によるものと認められる場合に得点調整を行う。なお，公平性の観点から20点以上の平均点差が生じた科目だけでなく，平均点がその間にある科目についても調整を行う。 得点調整に当たっては，最高平均点科目と最低平均点科目との平均点差が，15点（通常起こり得る平均点差の範囲）となるよう調整する。その際，平均点がその間にある科目についても素点の平均点差の比率に応じて調整する。 得点調整に当たっては，最高平均点科目の累積分布を目標分布とし，調整すべき科目の累積分布を目標分布の方向へ移動させる方法（分位点差縮小法）を用いて行う。 換算表の例 http://hiw.oo.kawai-juku.ac.jp/nyushi/center/98/kansan.html

　　　　　[このページのトップへ]

218.　センター　科目間　調整　質問です。　　2003/06/27 (金) 22:19 大学入試センターには統計学者がごろごろいるようですが，，， > 得点調整に当たっては，最高平均点科目と最低平均点科目との平均点差が，15点（通常起こり得る平均点差の範囲）となるよう この15点の根拠はなんでしょうか? あれだけ大きいnでは「母集団の能力分布が等しい」と仮定した場合偶然に起こる平均点の差っていうのはもっと小さいと思うのですが，，，もちろん「母集団の能力分布が等しい」という仮定は調べようもないのでしょうが，，， そもそも「作題の段階でできる限りの努力」って非常に日本的ですが，具体的にどのような方法を用いるのでしょうか?掲示板の趣旨に添わないかもしれずすみません。

　　　　　[このページのトップへ]

219.　Re: センター　科目間　調整　青木繁伸　　2003/06/27 (金) 23:11 > あれだけ大きいnでは「母集団の能力分布が等しい」と仮定した場合偶然に起こる平均点の差っていうのはもっと小さいと思うのですが，，，もちろん「母集団の能力分布が等しい」という仮定は調べようもないのでしょうが，，， 受験者の側の問題ではなくて，問題作成者側の問題でしょう。難しすぎる問題だったり，易しすぎる問題だったりということでしょう。科目間のお話なので，科目ごとの平均値が同じになるようにというのは，余計難しいのでしょう。 プロの問題作成者は，「これ!」とねらった平均点がちゃんと出るように問題を作れるそうです（ホントカネ?）

　　　　　[このページのトップへ]

● 「統計学関連なんでもあり」の過去ログ--- 025 の目次へジャンプ
● 「統計学関連なんでもあり」の目次へジャンプ
● 直前のページへ戻る