伊原/メモの編集

[[伊原]]
***Mozilla 資料 [#n9221bde]
&attachref(mozilla_data.zip);~
-全12回の講演会？資料~
--mozillaのバグ管理や，開発の様子が紹介されている~
-12回目の資料はPostgreSQLについて
--日本PostgreSQLユーザ会の石井さんの資料~
&attachref(mozilla_data.zip);~

***PostgreSQLリリース時期 [#if94f633]
-2004年3月〜2005年2月：bugコミュニティの新規参加者が増加する時期~

--7.4.2：2004年03月08日
--7.4.3：2004年06月14日
--7.4.4：2004年08月16日
--7.4.5：2004年08月18日
--7.4.6：2004年10月22日
--7.4.7：2005年01月31日
--7.4.8：2005年05月09日
--7.4.9：2005年10月04日~
~

--8beta：2004年08月10日
--8.0.0：2005年01月19日
--8.0.1：2005年01月31日
--8.0.2：2005年04月07日
--8.0.3：2005年05月09日

**mboxからpajファイルまでの編集[#v2c263c7]
LEFT:１.　ニュースの場合メーラーからmbox形式でエクスポート→Sylpheedを使用
-スレッド方式のままエクスポートされるため、2か月にまたいでリプライが続くと、新たにスレッドがたてられた時、月日がさかのぼってしまう現象が・・・~
そこで、~

--mbox形式の中身を月ごとに振り分けて出力~
~
プログラム；
&attachref(MboxdivideMonthMbox.pl);~

:入力|編集したいmbox形式ファイル~
:出力|１ヶ月ごとに割り振られたmbox形式ファイル~

LEFT:２.　ろぎさんの~
プログラム：
&attachref(getRelationWithClusterChange.pl);~
で3カ月窓で、.net形式に変換~
~
-n個のグループ１つにマージ~
n個のグループ１つにマージして、グループごとに色付けをする~
~

LEFT:３.　マージ
プログラム：&attachref(MboxNetworkMergePajek_0.pl);~

便利なバッチファイル：~
&attachref(test.bat);←PostgreSQLで使用したもの~
~
:入力|全てのグループについてｎ個のnetファイル~
:出力|マージしたpajファイル~
N-コーディネータの人数テキストファイル~
各グループ＆コーディネータの人数テキストファイル~

LEFT:４.　個人がどのグループに所属しているかを調査する
プログラム：&attachref(database.pl);~
:入力|フォルダにあるyyyymm（年月）を含むファイル全て（.や..はプログラム中で除いてある）~
:出力|個人データベースのテキストファイル~

**tf-idf [#h0986eca]
-文章中の特徴的な単語(重要とみなされる単語$w)を抽出するためのアルゴリズム．
-特徴的な単語の出現回数，出現メール数に着目している

--tf(文章中における重要単語数)
--idf(メール特有の重要単語かどうかを表す)=log{(総メール数 N)/(重要単語を含むメール数 DF{$w})}
---idf高い：多くののドキュメントに出現する
---idf低い：特定のドキュメントにしか出現しない
→対数をとるのは，idfの値が過度に変化するのを防ぐ目的がある…らしい

プログラム：&attachref(tf-idf_v1.pl);
:入力|引数メールアーカイブ mbox形式
:出力|メール送信日，tf-idf値上位の単語(※tf-idf値の閾値などはメモ参照)
:中間ファイルなど
単語DB  
&ref(EnglishWord.pag);
&ref(EnglishWord.dir);
※ 英辞郎より抽出（単語が定義されているかどうかを調べる）~
中間ファイルなど
    単語DB fileEnglishWord.pag fileEnglishWord.dir ※ 英辞郎より抽出（単語が存在するかどうかを調べる）~
    中間ファイル AllDoc?.txt(対象者のメールを抜き出したもの）
    [処理内容]
    (1)メール本文の">"がない文の単語分解（スペース，ピリオド，コンマ）を行う
    　write ･･･も飛ばす
    (2)代表キーワードの出現回数を数える TF（メール１文単位）
    (3)ドキュメント数を数える N
    (4)ドキュメント全体で代表キーワードの出現回数を数える DF(メール全文)
    (5)TF * LOG(N/Df)

■考えるところ
-3文字以上15文字以下
-tf-idfの値が6以上もしくはTop2の語句を抽出
-edやingなどはざっくりになってる
--"ed"→"e"
--"ed"→消す
--"ied"→"y"
--"ing"→消す
--"s"→消す
--"es"→消す
--"d"→消す
--"ies"→"y"
--"ves"→"f"
-idfの計算方法
--(コーディネータ)/(全体)
--(開発orユーザorバグ)/(全体)
--(コーディネータ)/(開発orユーザorバグ)
--(tglなど)/(コーディネータ)
など
***メモ [#v50d8a22]
-ソフトウェア工学Ⅱ（SNA課題）----済
--PostgreSQLコミュニティ（2004年03月〜2005年02月）を分析
---構造分析
---中心性分析
---メール内容の分析

-コミュニティへの流入・流出数

-tf-idf
-その他
--N-コーディネータが増えるほど情報共有できる
--コミュニティの分離・結合のススメを見つけ出す

タイムスタンプを変更しない