「統計学関連なんでもあり」の過去ログ---005

★ クラスタ分析のプログラムに関する質問 ★

　157　クラスタ分析のプログラムに関する質問　　まちかね　　2000/01/13 (木) 16:04
　　176　Re: クラスタ分析のプログラムに関する質問　　出口慎二　　2000/01/16 (日) 00:20
　　158　Re: クラスタ分析のプログラムに関する質問　　青木繁伸　　2000/01/13 (木) 16:46

157.　クラスタ分析のプログラムに関する質問　　まちかね　　2000/01/13 (木) 16:04

私達は現在，主成分分析及びクラスター分析を用いた卒論研究を行っています．
主成分分析，クラスター分析ともにこのホームページ上のBlackBox（WWWでデータ解析）を利用しているのですが，クラスター分析について今回用いるデータのケース数10000にものぼる為このページのプログラムでは対処できないという事態に陥っています．
緊急にこの問題を解決する必要があるのですが，解決する為には自分でクラスター分析のプログラムを組む必要があるのでしょうか?それともこのページの他にネット上でクラスター分析を扱うプログラムが存在するのでしょうか?
非常に甘えた質問ですが，どなたか答えて下さい，お願いします．

　　　　　[このページのトップへ]

176.　Re: クラスタ分析のプログラムに関する質問　　出口慎二　　2000/01/16 (日) 00:20

> …，クラスター分析について今回用いるデータのケース数10000にものぼる為このページのプログラムでは対処できないという事態に陥っています．
> 緊急にこの問題を解決する必要があるのですが，解決する為には自分でクラスター分析のプログラムを組む必要があるのでしょうか?

自らプログラムを組む，という結論で良いのでしょうか?「卒業研究」ということは学生さんかと思うのですが，学内どこかに統計パッケージの入ったコンピュータはないのでしょうか．

もし，どうにもならないのならば，その10000件のデータからサンプリングをして，小さなデータを作り，それを使うしかないのでは．

尚，統計パッケージがあるが，ケースが多すぎて解釈できない場合は，私は，デンドロを読める程度の標本を作って，この小さな標本でクラスタ数を決定し，k-means法で全データのクラスタ番号を得る，という方法を使います．結果はクラスタクロスで確認して，小さな標本の場合と食い違ったら，サンプリングからやり直します．k-meansの時のクラスタの重心の初期値には，小さな標本で求めた各クラスタごとの平均値を使っています．

上記，参考になりましたら．

　　　　　[このページのトップへ]

158.　Re: クラスタ分析のプログラムに関する質問　　青木繁伸　　2000/01/13 (木) 16:46

> 私達は現在，主成分分析及びクラスター分析を用いた卒論研究を行っています．
> 主成分分析，クラスター分析ともにこのホームページ上のBlackBox（WWWでデータ解析）を利用しているのですが，クラスター分析について今回用いるデータのケース数10000にものぼる為このページのプログラムでは対処できないという事態に陥っています．

こんなにたくさんのケースをクラスター分析するのは尋常ではないですね。
少なくとも BlackBox では対応しません（制限をはずしても，処理が完了しない前にネットワークのタイムアウトになってしまうでしょう）。

ローカルで処理しようとしても，計算時間はともかく，出力が膨大になります。
結局，このようなたくさんのケースの分析に特化したプログラムを書かなくてはならないのではないかと思います。

単精度で距離行列（三角行列）を確保するだけで，ほぼ
{(10000×10000)÷2}×4バイト=200メガバイト
必要なんですよ。

　　　　　[このページのトップへ]