Socio-metrics
GNWS2007†
GNWS2007
ゼミナール Ⅱ†
第4回 ネットワーク生態学シンポジウム†
第4回 ネットワーク生態学シンポジウム
DICOMO2008†
DICOMO2008
mboxからpajファイルまでの編集†
１. ニュースの場合メーラーからmbox形式でエクスポート→Sylpheedを使用
- スレッド方式のままエクスポートされるため、2か月にまたいでリプライが続くと、新たにスレッドがたてられた時、月日がさかのぼってしまう現象が・・・
そこで、
- 入力
- 編集したいmbox形式ファイル
- 出力
- １ヶ月ごとに割り振られたmbox形式ファイル
- n個のグループ１つにマージ
n個のグループ１つにマージして、グループごとに色付けをする
便利なバッチファイル：
test.bat←PostgreSQLで使用したもの
- 入力
- 全てのグループについてｎ個のnetファイル
- 出力
- マージしたpajファイル
N-コーディネータの人数テキストファイル
各グループ＆コーディネータの人数テキストファイル
- 入力
- フォルダにあるyyyymm（年月）を含むファイル全て（.や..はプログラム中で除いてある）
- 出力
- 個人データベースのテキストファイル
tf-idf†
- 文章中の特徴的な単語(重要とみなされる単語$w)を抽出するためのアルゴリズム．
- 特徴的な単語の出現回数，出現メール数に着目している
- tf(文章中における検索語の頻度)=(重要単語の出題頻度)/(全ての単語数)
- idf(検索語が現れる相対文章頻度の逆数の対数)=log{(総メール数 N)/(重要単語を含むメール数 DF{$w})}
→対数をとるのは，idfの値が過度に変化するのを防ぐ目的がある．
プログラム：tf-idf_v1.pl
- 入力
- 引数メールアーカイブ mbox形式
- 出力
- メール送信日，tf-idf値上位の単語(※tf-idf値の閾値などはメモ参照)
- 中間ファイルなど
- 単語DB
EnglishWord.pag
EnglishWord.dir
※ 英辞郎より抽出（単語が定義されているかどうかを調べる）
中間ファイル AllDoc.txt(対象者のメールを抜き出したもの）
[処理内容]
(1)メール本文の">"がない文の単語分解（スペース，ピリオド，コンマ）を行う
write ･･･も飛ばす
(2)代表キーワードの出現回数を数える TF（メール１文単位）
(3)ドキュメント数を数える N
(4)ドキュメント全体で代表キーワードの出現回数を数える DF(メール全文)
(5)TF * LOG(N/Df)
抽出する単語の閾値
-3文字以上15文字以下
-単語に登録されていない場合はスキップ
-tf-idfの計算方法(調査中)
-tf-idfの値が6以上もしくはTop2の語句を抽出
-edやingなどはざっくりになってる
+"ed"→"e"
+"ed"→消す
+"ied"→"y"
+"ing"→消す
+"s"→消す
+"es"→消す
+"d"→消す
+"ies"→"y"
+"ves"→"f"
- 人数の推移-----------------------済
- メッセージ(2-Coordinator)--------済
- メッセージ(3-Coordinator)
- ソフトウェア工学Ⅱ（SNA課題）----済
- PostgreSQLコミュニティ（2004年03月〜2005年02月）を分析
- tf-idf
- その他
- N-コーディネータが増えるほど情報共有できる
- コミュニティの分離・結合のススメを見つけ出す
![[PukiWiki]](image/wadanyan.png "[PukiWiki]")
