加藤/Progress の履歴(No.27)

1996年からのソースコードのcommit_idやcommit_dateなど入ったTableはあったが，Understandにかけてあるデータは1999/6/18からしかなかったf***
1996/1~1999/6/17までのコミットからソースコードを取得してUnderstandにかけなければいけない

↑

8/8†

既存のソースコードデータ：1996/1~2018/12
- 追加で必要なデータ：1996/1（1/14からのデータしかない），2018/12（12/5までのデータしかない）
- commitのcommit_idとすでにunderstandで取得済みのsource(メトリクスデータ)のcommit_idを紐付けて，sourceのメトリクスデータにdateを追加する（pandasでする）
既存のバグデータ：2000/8~2017/12
- 追加で必要なデータ：1996/1~2000/8，2017/12~2018/12

↑

8/1†

httpdのソースコード（understand処理済み）・バグデータ・メールデータがある
ただし，期間が足りない（2000~2016とか）ので必要な期間の差分をとってくる
サーバにリビジョンをとってきて，understandで.cファイルのメトリクスだけ取得する
バグデータは取得するのに時間がかかるから早めの方がいいかも

↑

7/26†

野口さんのツールでgithubからApache httpdのソースコードをリビジョン毎に取得

httpdをクローン

$ git clone https://github.com/apache/httpd.git

ログ（ハッシュ）を出力

$ git log --since=YYYY-M-D --until=YYYY-M-D --pretty=%H

↑

7/17†

PostgreSQLドライバのpsycopg2をインポートしてDBに接続，DataFrameでメトリクス整形
News Formusから抽出するメトリクスの取得完了
残りはソースコード，ソースコードの変更履歴，不具合修正履歴から抽出するメトリクス

↑

6/29†

PL/Pythonインストールできなかった（OSによって無理なものもあるらしい）

↑

6/28 研究進捗†

Mboxデータが膨大なため，psqlである程度の処理がしたい(for, ifなど)
SQL手続き言語であるPL/pgSQL使おうとしたけど慣れていないので使いにくい
PythonでDBサイドで動くモジュールを作れるPL/Pythonが有能では？
- psndasやnumpy などのPythonライブラリが使えるかも

↑

6/27 研究進捗†

1996~2018年のMboxデータをpsqlに取得（1995年のデータはMboxの形式が少し違うため取得しなかった）
データから，遅延相関分析にかけるためのメトリクスを整形中
- psqlでは複雑な条件式が書けないため大雑把な処理だけを行い，あとはpythonのpandasで実行した方がいいかも

↑

6/22 研究進捗†

ここからMailデータ取ってくる（手作業やとしんどそう）
- http://mail-archives.apache.org/mod_mbox/httpd-dev/
Bugデータ取得は野口さんのrepotools解析待ち
GitHubから（リビジョン毎に）ソースコード取得できない(´･_･`)

↑

6/20 研究進捗†

pythonでapache httpdのGitHubから2016/1~2019/1の期間でC言語のソースコードをリビジョンごとに取得する
取得したデータをUnderstandにかける

↑

6/10 MSR班MTG†

説明例（疑似相関は例としては使わない）
- 睡眠時間が短い日が一定以上続くと（加算），ある日から一定期間でのタスク量が減る（加算）
- 疑似相関：風が吹くと（差分）桶屋が儲かる（差分）
- 疑似相関：猫が顔を洗う（差分）と雨が降る（差分）
- 育毛剤を使っている（加算）人ほど10年後にはげる（差分）
  ※この例を公に使うと研究者の大半を敵に回す恐れあり

↑

6/6†

研究進捗
- repo_toolsのMboxデータ抽出ツールの解析・デバッグほぼ終了，データをローカルDBに取得可能に
- 既存研究の遅延相関分析で使われていたMboxに関係するメトリクスを調べてそれを抽出するプログラムを作る必要がある
研究協力
- 使い方のドキュメント化はまだしてない（いつかする）

↑

6/3†

MSR班
- 遅延相関分析のためのパラメータ設定の理由づけ（加算・差分の組み合わせ）
  身近な事象で具体例をだす　（例）お金の増減，睡眠時間，同時に付き合っている彼女の数 etc

↑

5/30†

輪講
- GNU（グヌー）
MSR班
- 加算差分遅延の組み合わせの理由づけを考える
- 元々は「喫煙の積み重ね（加算）が将来に与える影響（差分）」という形だった
- 6月データ収集，7月遅延相関実行&分析，8月卒論執筆完了，9月留学

↑

5/29†

研究進捗
- httpサーバの2000~2016年のデータはあるので，2018年までの追加のデータ（バグ，メール，ソースコード）を取得する
- バグデータ（Bugzilla）とメールデータ（Mbox）はrepotoolsを使い取得する
  →バグデータ取得のためのドキュメント作成は野口さん，Mboxで取得するためのドキュメントは6月研究協力で自分で作成する

↑

5/9†

輪講
- データ漏洩ってなに？→シンプルにdata leakageでよかった

↑

5/8†

再現結果(相関係数の絶対値が0.4以上の関係)
- 蘆田さん：349件，加藤：608件
- 蘆田：ratioCommentToCode countLineComment 0.692241875 11 10 9
  加藤：ratioCommentToCode countLineComment 0.999567912724544 6 11 11
- 相関係数0.99･･･など明らかに高い値のものもある
  →データを目視して結果として有効なものか確認するべき
- コード確認→自分のコードは正しく計算されていると思う，蘆田さんの出力結果はどうやって得たのか？→わからない
- 先に進んでいいのか？
山谷さんの論文を参考にコードを書き換える
- 「提案手法では，目的変数となるメトリクスの値が 1 時点前の値と比べて 5%以下の変化率しかない場合，目的変数の変化量 rnn と，rnn とペアとなる説明変数の累積値 eij を除去する.」
- 遅延係数が0~11まであるので，どこまでを除去したらいいかわからない
  メトリクスの値を目視して手作業で除去する？

↑

5/7†

蘆田さん研究再現
- Pythonで実行中（今日の18時までに終わる予定）
テストデータで実行
山谷さんの論文読み直す
他のOSSプロジェクトのデータを使ってみる

加藤/Progress の履歴(No.27)

progress†

10/24†

10/24 MSRミーティング†

10/18†

10/4†

9/1 ~ 9/28 フィリピン留学†

8/20†

8/19†

8/11†

8/10†

8/8†

8/1†

7/26†

7/17†

6/29†

6/28 研究進捗†

6/27 研究進捗†

6/22 研究進捗†

6/20 研究進捗†

6/10 MSR班MTG†

6/6†

6/3†

5/30†

5/29†

5/9†

5/8†

5/7†

9/1 ~ 9/28　フィリピン留学†