Socio-metrics
GNWS2007†
GNWS2007
ゼミナール Ⅱ†
第4回 ネットワーク生態学シンポジウム†
第4回 ネットワーク生態学シンポジウム
DICOMO2008†
DICOMO2008
mboxからpajファイルまでの編集†
1. ニュースの場合メーラーからmbox形式でエクスポート→Sylpheedを使用
- スレッド方式のままエクスポートされるため、2か月にまたいでリプライが続くと、新たにスレッドがたてられた時、月日がさかのぼってしまう現象が・・・
そこで、
- 入力
- 編集したいmbox形式ファイル
- 出力
- 1ヶ月ごとに割り振られたmbox形式ファイル
- n個のグループ1つにマージ
n個のグループ1つにマージして、グループごとに色付けをする
便利なバッチファイル:
test.bat←PostgreSQLで使用したもの
- 入力
- 全てのグループについてn個のnetファイル
- 出力
- マージしたpajファイル
N-コーディネータの人数テキストファイル
各グループ&コーディネータの人数テキストファイル
- 入力
- フォルダにあるyyyymm(年月)を含むファイル全て(.や..はプログラム中で除いてある)
- 出力
- 個人データベースのテキストファイル
tf-idf†
プログラム:
tf-idf_v1.pl
- 入力
- 引数メールアーカイブ mbox形式
- 出力
- メール送信日,tf-idf値上位の単語(※tf-idf値の閾値などはメモ参照)
- 中間ファイルなど
- 単語DB
EnglishWord.pag
EnglishWord.dir
※ 英辞郎より抽出(単語が定義されているかどうかを調べる)
中間ファイル AllDoc.txt(対象者のメールを抜き出したもの)
[処理内容]
(1)メール本文の">"がない文の単語分解(スペース,ピリオド,コンマ)を行う
write ・・・も飛ばす
(2)代表キーワードの出現回数を数える TF(メール1文単位)
(3)ドキュメント数を数える N
(4)ドキュメント全体で代表キーワードの出現回数を数える DF(メール全文)
(5)TF * LOG(N/Df)
抽出する単語の閾値
-3文字以上15文字以下
-tf-idfの計算方法(全体の)
-tf-idfの値が6以上もしくはTop2の語句を抽出
- 人数の推移-----------------------済
- メッセージ(2-Coordinator)--------済
- メッセージ(3-Coordinator)
- ソフトウェア工学Ⅱ(SNA課題)----済
- PostgreSQLコミュニティ(2004年03月〜2005年02月)を分析
- tf-idf
- その他
- N-コーディネータが増えるほど情報共有できる
- コミュニティの分離・結合のススメを見つけ出す