../ろぎ

Pajek形式データいじりツール†

必要なツールがあれば,できるだけ作っていきたいので,コメント欄あたりに書き込むなりしてください.

今のところ,Mailinglist Archive形式のMLログサイトから関係を抽出するプログラム作りたい.





mboxからメール送信回数をカウントするプログラム†

(2007-11-16 (金) 18:22:10)

filembox2mailcount.pl
filembox2mailcount.bat

入力:
mbox形式のメールアーカイブ

出力:
mboxに含まれるメールの数
フォーマット:ファイル名 メール数 ユニークメール送信者数(参加者数)

使用法:
perl mbox2mailcount.pl [filename1, filename2, ...]


.net ファイルの整形†

(2007-06-01 (金) 12:24:08)

filefixNetFile.pl

mbox から生成した .net ファイルを修正する
入力:
変換したい.netファイル

出力:
整形済み.netファイル

処理内容
1. アドレス名とエッジのソート (&renumbering)
2. 0エッジの削除 (&remove0arcs)
3. 自己ループの削除 (&removeLoops)


2つのネットワークファイルを同一ノード名でマージする†

(2007-05-08 (火) 09:41:35)

filemergeNetworksByName.pl

入力:
2つのネットワークファイル

出力:
.pajファイル(マージ済ネットワーク+パーティション情報)
パーティションの意味は以下のとおり
 1:data1.netのみに属する
 2:data2.netのみに属する
 3:両方に属する

 ↑これって逆じゃない?
 1:data2.netのみに属する
 2:data1.netのみに属する
 3:両方に属する

使用法:
perl mergeNetworksByName.pl data1.net data2.net


.netファイルをノード名でソート†

(2007-05-08 (火) 09:32:46)

生ファイルの視認性向上のためのツール
filerenumbering.pl

入力:
変換したい.netファイル

出力:
ソート済み.netファイル


mbox形式→Pajek形式への変換プログラム(シュリンクデータを元に作成する)†

(2007-01-12 (金) 09:41:02)

仕様はgRewCluTw.plと同じですが,メールアドレスの新旧対応表を元に生成します.

filegRewCluTwSr.pl


新旧アドレス対応表を用いて,.netファイルの同一人物をシュリンクする†

(2007-01-12 (金) 07:17:51)

emailDupShrinker.plを用いて生成された新旧のEmailアドレス対応関係を用いて,シュリンクされた.netファイルを変換する.

filenetworkShrinker.pl

入力:
変換したい.netファイルと,networkShrinker.plを用いて生成した新旧アドレス対応表

出力:
シュリンクされた.netファイル

使用法:
コマンドラインで、以下のコマンドをたたく(要 Perl 5 以上)
perl networkShrinker.pl data.net email_translate.txt

  • 引数
    • data.net シュリンクしたい.netファイル
    • email_translate.txt アドレス対応表

メールアドレス一覧から,同じ人のアドレスっぽいのを除去する†

(2007-01-12 (金) 07:13:54)

プログラム:
fileemailDupShrinker.pl

Email一覧から,@以前の文字列が(大文字小文字を無視して)同じであれば同一人物と判断し,最新のアドレスへの変換表を吐き出す.

入力:
Emailアドレス一覧(標準入力)

出力:
旧-新が対応付けられたemail関係リスト

使用法:
コマンドラインで、以下のコマンドをたたく(要 Perl 5 以上)
perl emailDupShrinker.pl < email_list.txt


複数の.netファイル→1つの.pajファイルにマージするプログラム†

(2006-12-29 (金) 04:51:37)

プログラム:
filemerge.pl

merge.txtの例:
filemerge.txt

時系列で変化を見るためには,複数の.netファイルをPajekで読み込まなければいけませんが,100個とか読み込むのは手間過ぎるので,単一の.pajファイルにすることで一気に読み込むことができます.

# ただ,マクロとか使うなら,そっちでもできるので,このプログラムの意味があまりなくなります...

入力:
マージしたい複数の.netファイル.merge.txtに順番にファイル名を書いておく.
出力ファイル名は,プログラム中の$filenameという変数で指定しておく.

出力:
マージされた.pajファイル.


特定の人物の次数推移を吐き出すプログラム†

(2006-12-29 (金) 04:47:07)

プログラム:
filedegreecount.pl

ノード情報ファイルの例:
filedegreecount.txt

実行例:
perl degreecount.pl 10
ノード番号10番の人の次数推移を表示する.

入力:
引数に,表示したいノードのノード番号を与える.
degreecount.txtには,推移を見たい期間の.netファイルのリストを書いておく.

出力:
degreecount.txtのファイルそれぞれについて出次数をカウントしたリスト.


入次数,出次数,次数を全ノードについて計算するプログラム†

(2006-12-29 (金) 04:40:20)

プログラム:
filemailcount.pl

実行例:
perl mailcount.pl

入力:
プログラム内で,$filenameという変数に,測定したい.net形式ファイルを直接指定する

出力:
countFrom_〜.txt,countTo_〜.txt,countAll_〜.txtの3ファイル.
それぞれ,全ノードにおける出次数,入次数,次数を多い順にソートして出力する.


メール送信回数カウントプログラム†

(2006-12-29 (金) 04:31:16)

プログラム:
filecountMailNum.pl

実行例:
perl countMailNum.pl sample.net

単一の.netファイル内に記述されている,メールの送信回数を合計するプログラム.
.netファイルは月ごとになってるので,月ごとの推移とかが見れると思う.


mbox形式→Pajek形式への変換プログラム(ノード情報をあらかじめ与えておく用)†

(2006-12-29 (金) 04:26:43)

プログラム:
filegRewCluTw.pl

allnode.txtの例:
fileallnode.txt

便利なバッチファイル:
filerMAwCluTw.bat … 90日窓,30日ごとの.netファイルを吐き出す例

入力:
引数で与えられたmboxファイル形式のファイル(複数可)~
あらかじめ,ノード情報をallnode.txtというファイル名でおいておく必要がある(これは,下の単体用変換プログラムで全期間の関係をマージして出力された.net形式から手作業で抽出してください)
あと,プログラム内の $allnodecountという変数に,ノード数を書いておかないと,ちゃんと動かないです.
出力:
上記のファイルをマージして得たレスの関係を,Pajekの.net形式と.clu形式で吐き出す(ファイル名に+3が付加される)


mbox形式→Pajek形式への変換プログラム(単体用)†

(2006-12-29 (金) 04:20:22)

プログラム:
filegetRelationWithCluster.pl

便利なバッチファイル:
filerunMergeAllWithCluster_all.bat … 全期間をマージして吐き出す例
filerunMergeAllWithCluster.bat … 90日窓,30日ごとの.netファイルを吐き出す例

実行例:
perl getRelationWithCluster.pl 199503 199504 199505

入力:
引数で与えられたmboxファイル形式のファイル(複数可)

出力:
上記のファイルをマージして得たレスの関係を,Pajekの.net形式と.clu形式で吐き出す


リスト生成の補助プログラム†

(2006-12-29 (金) 03:06:29)

fileexpander.pl

[1-5]みたいな値を引数に与えることで,それを展開したリストが吐き出されます.
ファイル一覧を作るときに,『[1995-2006]年[01-12]月』みたいなのを投げれ
ば,ファイル名一覧とかがサクサク生成できそうです.
投げ方は,こんな感じです.↓

perl expander.pl [1995-2006]年[01-12]月

上記の出力例:
1995年01月
1995年02月
1995年03月
・・・
1995年12月
1996年01月
1996年02月
・・・
2006年12月


コメント†



トップ   新規 一覧 検索 最終更新   ヘルプ   最終更新のRSS