伊原/メモ の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 伊原/メモ へ行く。
  • 1 (2008-06-17 (火) 06:03:43)
  • 2 (2008-07-16 (水) 04:23:52)

伊原

PostgreSQLリリース時期†

• 2004年3月〜2005年2月：bugコミュニティの新規参加者が増加する時期
  

• 7.4.2：2004年03月08日
• 7.4.3：2004年06月14日
• 7.4.4：2004年08月16日
• 7.4.5：2004年08月18日
• 7.4.6：2004年10月22日
• 7.4.7：2005年01月31日
• 7.4.8：2005年05月09日
• 7.4.9：2005年10月04日
  
  

• 8beta：2004年08月10日
• 8.0.0：2005年01月19日
• 8.0.1：2005年01月31日
• 8.0.2：2005年04月07日
• 8.0.3：2005年05月09日

mboxからpajファイルまでの編集†

• スレッド方式のままエクスポートされるため、2か月にまたいでリプライが続くと、新たにスレッドがたてられた時、月日がさかのぼってしまう現象が・・・
  そこで、
  

• mbox形式の中身を月ごとに振り分けて出力
  
  プログラム； File not found: "MboxdivideMonthMbox.pl" at page "伊原/メモ"[添付]
  

入力

編集したいmbox形式ファイル

出力

１ヶ月ごとに割り振られたmbox形式ファイル

• n個のグループ１つにマージ
  n個のグループ１つにマージして、グループごとに色付けをする
  
  

便利なバッチファイル：
File not found: "test.bat" at page "伊原/メモ"[添付]←PostgreSQLで使用したもの

入力

全てのグループについてｎ個のnetファイル

出力

マージしたpajファイル
N-コーディネータの人数テキストファイル
各グループ＆コーディネータの人数テキストファイル

入力

フォルダにあるyyyymm（年月）を含むファイル全て（.や..はプログラム中で除いてある）

出力

個人データベースのテキストファイル

tf-idf†

• 文章中の特徴的な単語(重要とみなされる単語$w)を抽出するためのアルゴリズム．
• 特徴的な単語の出現回数，出現メール数に着目している

• tf(文章中における重要単語数)
• idf(メール特有の重要単語かどうかを表す)=log{(総メール数 N)/(重要単語を含むメール数 DF{$w})}
  • idf高い：多くののドキュメントに出現する
  • idf低い：特定のドキュメントにしか出現しない →対数をとるのは，idfの値が過度に変化するのを防ぐ目的がある…らしい

プログラム： File not found: "tf-idf_v1.pl" at page "伊原/メモ"[添付]

入力

引数メールアーカイブ mbox形式

出力

メール送信日，tf-idf値上位の単語(※tf-idf値の閾値などはメモ参照) :中間ファイルなど 単語DB &ref(): File not found: "EnglishWord.pag" at page "伊原/メモ"; &ref(): File not found: "EnglishWord.dir" at page "伊原/メモ"; ※ 英辞郎より抽出（単語が定義されているかどうかを調べる）
中間ファイルなど

   単語DB fileEnglishWord.pag fileEnglishWord.dir ※ 英辞郎より抽出（単語が存在するかどうかを調べる）~
   中間ファイル AllDoc?.txt(対象者のメールを抜き出したもの）
   [処理内容]
   (1)メール本文の">"がない文の単語分解（スペース，ピリオド，コンマ）を行う
   　write ･･･も飛ばす
   (2)代表キーワードの出現回数を数える TF（メール１文単位）
   (3)ドキュメント数を数える N
   (4)ドキュメント全体で代表キーワードの出現回数を数える DF(メール全文)
   (5)TF * LOG(N/Df)

■考えるところ

• 3文字以上15文字以下
• tf-idfの値が6以上もしくはTop2の語句を抽出
• edやingなどはざっくりになってる
  • "ed"→"e"
  • "ed"→消す
  • "ied"→"y"
  • "ing"→消す
  • "s"→消す
  • "es"→消す
  • "d"→消す
  • "ies"→"y"
  • "ves"→"f"
• idfの計算方法
  • (コーディネータ)/(全体)
  • (開発orユーザorバグ)/(全体)
  • (コーディネータ)/(開発orユーザorバグ)
  • (tglなど)/(コーディネータ) など

メモ†

• ソフトウェア工学Ⅱ（SNA課題）----済
  • PostgreSQLコミュニティ（2004年03月〜2005年02月）を分析
    • 構造分析
    • 中心性分析
    • メール内容の分析

• コミュニティへの流入・流出数

• tf-idf
• その他
  • N-コーディネータが増えるほど情報共有できる
  • コミュニティの分離・結合のススメを見つけ出す