加藤/Progress の履歴(No.16)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 加藤/Progress へ行く。
  • 1 (2019-05-23 (木) 01:40:22)
  • 2 (2019-05-29 (水) 07:06:07)
  • 3 (2019-05-30 (木) 05:29:07)
  • 4 (2019-06-03 (月) 02:47:33)
  • 5 (2019-06-06 (木) 08:14:40)
  • 6 (2019-06-06 (木) 15:03:32)
  • 7 (2019-06-10 (月) 02:56:26)
  • 8 (2019-06-20 (木) 07:35:59)
  • 9 (2019-06-22 (土) 04:50:32)
  • 10 (2019-06-27 (木) 10:16:40)
  • 11 (2019-06-28 (金) 09:18:43)
  • 12 (2019-06-29 (土) 08:57:37)
  • 13 (2019-07-04 (木) 06:28:59)
  • 14 (2019-07-17 (水) 05:58:12)
  • 15 (2019-07-26 (金) 07:27:16)
  • 16 (2019-08-01 (木) 08:04:26)
  • 17 (2019-08-08 (木) 07:02:43)
  • 18 (2019-08-10 (土) 18:57:40)
  • 19 (2019-08-11 (日) 12:21:57)
  • 20 (2019-08-19 (月) 08:48:54)
  • 21 (2019-08-20 (火) 04:05:57)
  • 22 (2019-08-20 (火) 04:32:27)
  • 23 (2019-10-04 (金) 03:58:01)
  • 24 (2019-10-08 (火) 01:39:38)
  • 25 (2019-10-18 (金) 13:02:24)
  • 26 (2019-10-24 (木) 02:47:09)
  • 27 (2019-10-24 (木) 08:27:07)
  • 28 (2019-11-11 (月) 09:40:40)
  • 29 (2019-11-19 (火) 03:34:56)
  • 30 (2019-11-19 (火) 08:39:27)

---

加藤

progress†

8/1†

• httpdのソースコード（understand処理済み）・バグデータ・メールデータがある
• ただし，期間が足りない（2000~2016とか）ので必要な期間の差分をとってくる
• サーバにリビジョンをとってきて，understandで.cファイルのメトリクスだけ取得する
• バグデータは取得するのに時間がかかるから早めの方がいいかも

7/26†

• 野口さんのツールでgithubからApache httpdのソースコードをリビジョン毎に取得
• httpdをクローン
  

  $ git clone https://github.com/apache/httpd.git

• ログ（ハッシュ）を出力
  

  $ git log --since=YYYY-M-D --until=YYYY-M-D --pretty=%H

7/17†

• PostgreSQLドライバのpsycopg2をインポートしてDBに接続，DataFrameでメトリクス整形
• News Formusから抽出するメトリクスの取得完了
• 残りはソースコード，ソースコードの変更履歴，不具合修正履歴から抽出するメトリクス

6/29†

• PL/Pythonインストールできなかった（OSによって無理なものもあるらしい）

6/28 研究進捗†

• Mboxデータが膨大なため，psqlである程度の処理がしたい(for, ifなど)
• SQL手続き言語であるPL/pgSQL使おうとしたけど慣れていないので使いにくい
• PythonでDBサイドで動くモジュールを作れるPL/Pythonが有能では？
  • psndasやnumpy などのPythonライブラリが使えるかも

6/27 研究進捗†

• 1996~2018年のMboxデータをpsqlに取得（1995年のデータはMboxの形式が少し違うため取得しなかった）
• データから，遅延相関分析にかけるためのメトリクスを整形中
  • psqlでは複雑な条件式が書けないため大雑把な処理だけを行い，あとはpythonのpandasで実行した方がいいかも

6/22 研究進捗†

• ここからMailデータ取ってくる（手作業やとしんどそう）
  • http://mail-archives.apache.org/mod_mbox/httpd-dev/
• Bugデータ取得は野口さんのrepotools解析待ち
• GitHubから（リビジョン毎に）ソースコード取得できない(´･_･`)

6/20 研究進捗†

• pythonでapache httpdのGitHubから2016/1~2019/1の期間でC言語のソースコードをリビジョンごとに取得する
• 取得したデータをUnderstandにかける

6/10 MSR班MTG†

• 説明例（疑似相関は例としては使わない）
  • 睡眠時間が短い日が一定以上続くと（加算），ある日から一定期間でのタスク量が減る（加算）
  • 疑似相関：風が吹くと（差分）桶屋が儲かる（差分）
  • 疑似相関：猫が顔を洗う（差分）と雨が降る（差分）
  • 育毛剤を使っている（加算）人ほど10年後にはげる（差分）

    ※この例を公に使うと研究者の大半を敵に回す恐れあり

6/6†

• 研究進捗
  • repo_toolsのMboxデータ抽出ツールの解析・デバッグほぼ終了，データをローカルDBに取得可能に
  • 既存研究の遅延相関分析で使われていたMboxに関係するメトリクスを調べてそれを抽出するプログラムを作る必要がある
• 研究協力
  • 使い方のドキュメント化はまだしてない（いつかする）

6/3†

• MSR班
  • 遅延相関分析のためのパラメータ設定の理由づけ（加算・差分の組み合わせ）

    身近な事象で具体例をだす　（例）お金の増減，睡眠時間，同時に付き合っている彼女の数 etc

5/30†

• 輪講
  • GNU（グヌー）
• MSR班
  • 加算差分遅延の組み合わせの理由づけを考える
  • 元々は「喫煙の積み重ね（加算）が将来に与える影響（差分）」という形だった
  • 6月データ収集，7月遅延相関実行&分析，8月卒論執筆完了，9月留学

5/29†

• 研究進捗
  • httpサーバの2000~2016年のデータはあるので，2018年までの追加のデータ（バグ，メール，ソースコード）を取得する
  • バグデータ（Bugzilla）とメールデータ（Mbox）はrepotoolsを使い取得する

    →バグデータ取得のためのドキュメント作成は野口さん，Mboxで取得するためのドキュメントは6月研究協力で自分で作成する

5/9†

• 輪講
  • データ漏洩ってなに？→シンプルにdata leakageでよかった

5/8†

• 再現結果(相関係数の絶対値が0.4以上の関係)
  • 蘆田さん：349件，加藤：608件
  • 蘆田：ratioCommentToCode countLineComment 0.692241875 11 10 9

    加藤：ratioCommentToCode countLineComment 0.999567912724544 6 11 11

  • 相関係数0.99･･･など明らかに高い値のものもある

    →データを目視して結果として有効なものか確認するべき

  • コード確認→自分のコードは正しく計算されていると思う，蘆田さんの出力結果はどうやって得たのか？→わからない
  • 先に進んでいいのか？
• 山谷さんの論文を参考にコードを書き換える
  • 「提案手法では，目的変数となるメトリクスの値が 1 時点前 の値と比べて 5%以下の変化率しかない場合，目的変数の 変化量 rnn と，rnn とペアとなる説明変数の累積値 eij を 除去する.」
  • 遅延係数が0~11まであるので，どこまでを除去したらいいかわからない

    メトリクスの値を目視して手作業で除去する？

5/7†

• 蘆田さん研究再現
  • Pythonで実行中（今日の18時までに終わる予定）
• テストデータで実行
• 山谷さんの論文読み直す
• 他のOSSプロジェクトのデータを使ってみる