「統計学関連なんでもあり」の過去ログ---026

★ 言語テストの偏差値処理について ★

893.　言語テストの偏差値処理について　ジェシカ　2003/10/27 (月) 19:20
└894.　Re: 言語テストの偏差値処理について　青木繁伸　2003/10/27 (月) 20:04
　└898.　Re^2: 言語テストの偏差値処理について　ジェシカ　2003/10/27 (月) 21:51
　　├902.　Re^3: 言語テストの偏差値処理について　TY　2003/10/28 (火) 13:09
　　└899.　Re^3: 言語テストの偏差値処理について　青木繁伸　2003/10/27 (月) 22:08
　　　└900.　Re^4: 言語テストの偏差値処理について　ジェシカ　2003/10/27 (月) 22:41
　　　　└907.　Re^5: 言語テストの偏差値処理について　名無し　2003/10/28 (火) 19:14
　　　　　└923.　Re^6: 言語テストの偏差値処理について　ジェシカ　2003/10/31 (金) 00:09

893.　言語テストの偏差値処理について　ジェシカ　　2003/10/27 (月) 19:20

TOEICなどで使われている統計処理について詳しく知りたいのですが統計のことが全くわかりません。
（偏差値の）最高点・最低点，被験者数，標準偏差，（偏差値の）平均点，問題数などがわかっている場合，偏差値から誤答数を推定するということは可能なのでしょうか。

　　　　　[このページのトップへ]

894.　Re: 言語テストの偏差値処理について　青木繁伸　　2003/10/27 (月) 20:04

偏差値＝［（得点ー平均点）／標準偏差］×10＋50
（ただし，得点は元のテストなどの得点。平均点，標準偏差も元のテストの得点の平均，標準偏差）
なのですから，偏差値，平均値，標準偏差がわかればそれだけで，
得点＝［（偏差値–50）／10］＊標準偏差＋平均点
この得点は推定値ではなくて，正確な値です。つまり，偏差値は，平均値が50で，その標準偏差が10となるように得点を一次変換したものなんですね。

http://aoki2.si.gunma-u.ac.jp/lecture/Bunpu/normdist/hensati.html

得点がわかれば，正答数がわかるでしょうから（1問あたりの配点が同じなら），誤答数もわかるでしょう。

　　　　　[このページのトップへ]

898.　Re^2: 言語テストの偏差値処理について　ジェシカ　　2003/10/27 (月) 21:51

迅速に回答いただきありがとうございます。

模試などに使われている偏差値とは違って（単なる思い込みかもしれませんが，普通の偏差値は母集団に対する位置を示しているだけで複数回の問題の難易度に調整を加えているわけではないのではないでしょうか）

TOEICはスコアの処理について詳細は公表されていないのですが，毎回の問題の難易度についても調整しているようです。
さらに，今回私が受験した回は受験者は約9万人ですが，問題に複数パターンがあり，受験会場によって問題が違ったようです。
このような場合，スコアの公正性を確保するためにはどのような統計処理があるのでしょうか。

資料によると今回の最高スコア（素点ではありません）は985
最低スコアは70
平均スコアは560．3
標準偏差は165．4
となっており，
問題数は200問です。

正答数をxとし, y=ax+bにより算出するとあり，aとbは，xの理論的最高スコアをx1，理論的最低スコアをx0とし，算出スコアの理論的最高スコアy1と最低スコアy0が毎回テストの実際の最高スコア，最低スコアの数値となるように，
y1=ax1+b・y0=ax0+b　を解いて求める
と解説されています。

私自身教師ですが，違う問題でテストをした成績で2つのグループの評価を一緒にだしたり，一つの選択科目群のなかの違う科目の評価をする際に，スケールを作ったり一見公平になるように見える処置をしたりはしているのですが，どうも科学的でない気がずっとしていて，きちんとした知識が欲しいと思っています。
異なることをごっちゃにしているのかもしれませんが（それすらわかりません）
以上のようなことを考える場合，何を勉強したらよいのかご教示いただけると助かります。
よろしくお願いします。

　　　　　[このページのトップへ]

902.　Re^3: 言語テストの偏差値処理について　TY　　2003/10/28 (火) 13:09

1. TOEICのホームページを探し，見る。関係有りそうなページを一通り読む。
2. リンクをたどってETSのホームページを見る。このページからは英語なのですが。
3. どうやら，計量心理学，項目反応理論が関係ありそう。

と，心理学を知らない私でもここまでは容易に出来ました。
所要時間数分 (環境により異なるでしょうが) ですので，ご自分でお試しあれ。

　　　　　[このページのトップへ]

899.　Re^3: 言語テストの偏差値処理について　青木繁伸　　2003/10/27 (月) 22:08

わかっている情報は，ちゃんと提示して質問しないと，適切な回答はできません。むだなスレッドが伸びるだけです。上の「投稿規程」読んでください。
>
> 模試などに使われている偏差値とは違って（単なる思い込みかもしれませんが，普通の偏差値は母集団に対する位置を示しているだけで複数回の問題の難易度に調整を加えているわけではないのではないでしょうか）

知りません。

> TOEICはスコアの処理について詳細は公表されていないのですが毎回の問題の難易度についても調整しているようです。

そうですか。では，その詳細のわからない結果から，何かを推定することは不可能でしょう。

> さらに，今回私が受験した回は受験者は約9万人ですが問題に複数パターンがあり，受験会場によって問題が違ったようです。

これだと，更に問題はやっかいになるでしょう。

> このような場合，スコアの公正性を確保するためにはどのような統計処理があるのでしょうか。

ないでしょうね。

> 資料によると今回の
> 最高スコア（素点ではありません）は985
> 最低スコアは70
> 平均スコアは560．3
> 標準偏差は165．4
> となっており，
> 問題数は200問です。
>
> 正答数をxとし, y=ax+bにより算出するとあり
> aとbは，xの理論的最高スコアをx1
> 理論的最低スコアをx0とし，
> 算出スコアの理論的最高スコアy1と
> 最低スコアy0が毎回テストの実際の最高スコア
> 最低スコアの数値となるように，
> y1=ax1+b・y0=ax0+b　を解いて求める
> と解説されています。

その a, b は公開されているのですか。公開されていないなら，何もできないでしょう。

> 私自身教師ですが，違う問題でテストをした成績で2つのグループの評価を一緒にだしたり，一つの選択科目群のなかの違う科目の評価をする際に，スケールを作ったり一見公平になるように見える処置をしたりはしているのですが，どうも科学的でない気がずっとしていて，きちんとした知識が欲しいと思っています。
> 異なることをごっちゃにしているのかもしれませんが（それすらわかりません）

別の標本に，別の負荷（試験）を科し，結果を比較するのは不可能でしょう。

> 以上のようなことを考える場合，何を勉強したらよいのかご教示いただけると助かります。

統計学だと思いますが，よくわかりません。

　　　　　[このページのトップへ]

900.　Re^4: 言語テストの偏差値処理について　ジェシカ　　2003/10/27 (月) 22:41

> わかっている情報は，ちゃんと提示して質問しないと，適切な回答はできません。むだなスレッドが伸びるだけです。上の「投稿規程」読んでください。

申し訳ありません。統計の専門家の間であたりまえの了解事項のような手法があるものだと思っていましたから不十分な書き方になってしまいました。

アメリカから輸入されている言語テストは統計的手法で公正性を図るということをうたい文句にしていることが多いのでそんなノウハウがあるのなら勉強したいと思いました。

ありがとうございました。

　　　　　[このページのトップへ]

907.　Re^5: 言語テストの偏差値処理について　名無し　　2003/10/28 (火) 19:14

ご参考までですが。
http://www.toeic.com/2_4infolibrary.htm

> アメリカから輸入されている言語テストは統計的手法で公正性を図るということをうたい文句にしていることが多いので
日本でも，
http://casec.evidus.com/

アメリカのETSのテストがこの類のテストを広めるきっかけになったのかもしれませんが，テストの全体的な流れではないかと思っています。ちょっと話題違いにて失礼しました。

　　　　　[このページのトップへ]

923.　Re^6: 言語テストの偏差値処理について　ジェシカ　　2003/10/31 (金) 00:09

ETSについてのアドバイスありがとうございました。
予備知識がないので，どの論文読めば答えにたどりつけるのかちょっと時間がかかりそうですが，読んでみたいと思います。

教育測定の会社については知りませんでした。
旺文社がらみなんですね。ベネッセなんかもノウハウ持ってるのかもしれませんね。
ありがとうございます。

　　　　　[このページのトップへ]