おおさわ/データ の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• おおさわ/データ へ行く。
  • 1 (2011-03-25 (金) 03:00:28)
  • 2 (2011-03-25 (金) 03:19:03)

おおさわ

Bugzilla のデータ取得†

あくまでもおおさわがデータ取得の際に利用していた方法です。
最適ではない可能性が多々あるのでご注意ください。

• cookies ファイルの作成(IEを利用する場合)

1.IEを利用して対象OSSプロジェクトのBugzillaにログイン
2.『ファイル』 -> 『インポートおよびエクスポート』 -> 『ファイルにエクスポートする』 -> Cookie にチェック -> 保存ファイル名を指定 -> エクスポート
3.保存したファイルから必要な Cookie 情報のみを残す(※他の人とCookieを共有するさいは特に注意してください)

• wget によるデータの取得

wget --load-cookies=cookies.txt https://bugs.eclipse.org/bugs/show_bug.cgi?id=1
(--load-cookies:cookiesファイルの指定)
大規模なデータ取得の際は5秒程度のインターバルを空けることが望ましいと思われる
ITCやプロジェクト側に怒られる可能性があります

• .sh ファイルの作成

上記のルールに従い.shファイルを作成すると以下のようになる
※改行コードは使用する環境に合わせてください

wget --no-check-certificate --load-cookies=cookies.txt https://bugs.eclipse.org/bugs/show_bug.cgi?id=1
sleep 5;
wget --no-check-certificate --load-cookies=cookies.txt https://bugs.eclipse.org/bugs/show_bug.cgi?id=2
sleep 5;
wget --no-check-certificate --load-cookies=cookies.txt https://bugs.eclipse.org/bugs/show_bug.cgi?id=3
sleep 5;
・
・
・

• 大学の mac を利用する

1.putty 等を利用し大学のmacにアクセス
2.適当なディレクトリを作成し.shファイルを実行する(bash hoge.sh)
3.管理できるすべてのmacでそれぞれ.shファイルを実行する
※大学管理のmacは定期的にシャットダウンがあるので注意してください