加藤/Progress の履歴(No.30)

加藤

progress†

↑

11/19†

add/addの組み合わせで相関の絶対値が0.4以上のものが5000組もあった（他は300~500）
- そのうち0.9以上のものが1800組
- 一方が増えたらもう一方も増えるという単純な関係のものが多いから？
add/deltaパターンと他パターンで取得したデータを比較して，他パターンのみで得られた新たなメトリクスの組み合わせの関係を調べる
説明変数・目的変数のデータ分布毎に適した，加算・差分の組み合わせの分析
→分布から，2つのメトリクスにどういう関係があるかわかる（擬似相関や偶然の相関に注意）

（遅延相関シミュレーション.xlsx）

↑

11/11†

全パターン正しく取れていることを確認
目的変数の加算も正しく取れていた
卒論タイトル考えた

↑

10/24†

全パターンの分析終了
- 加算・差分パターンでの相関係数は蘆田さんのデータとほぼ一致しているが，出力時の加算係数，遅延係数，差分係数の組み合わせは大きく異なる
- 他パターン（加算・加算，差分・加算，差分・差分）が正しく出力されているかテストする

↑

10/24 MSRミーティング†

最新（2018年）のデータを取得してもおそらく結果は変わらない
→先に遅延相関分析を行って，時間が余りそうなら追加で行う（他のプロジェクトの分析，httpdプロジェクトの最新データの取得）
加算・差分の組み合わせで分析

↑

10/18†

データ全部取れてないっぽい（repo_toolsまた途中で止まってたみたい）
取り直し→時間かかるから差分だけ取ってくる
取ってくるべきデータ
- 199601~199912 + 201801~201812
データ取得全般がrepo toolsに依存しておりその理解に時間がかかるため，結果として待ち工程が多くなり卒論を進めるのに時間がかかる
データ整形方法：1つのコミットidから取得した全てのcファイルをunderstandにかけて得たそれぞれのメトリクスを平均したもの？
→柏さんに確認

↑

10/4†

17340件のデータが取得できていた
正しく取得できているか確認
データから.cファイルだけ抽出
日付順にソート（どうやって？？）
データ正規化

↑

9/1 ~ 9/28　フィリピン留学†

留学中に，gitのソースコードデータを取得し，それらをunderstandにかけたデータを取得するrepo_toolsのスクリプトを実行しておく

↑

8/20†

1996と2018年で開発方法が変わっていたら遅延相関分析に影響が出るかもしれない
→５年単位で区切って検証するなど，バリデーション（妥当性）を確かめるなどした方がいいかも by 柏さん

↑

8/19†

apache httpd serverのgitの1996~現在までのcommit_idとcommit_dateが取得できた

↑

8/11†

repo_toolsに，git cloneしてきたものをリビジョン毎に取得してUnderstandにかけてくれるツールがあるらしい

↑

8/10†

1996年からのソースコードのcommit_idやcommit_dateなど入ったTableはあったが，Understandにかけてあるデータは1999/6/18からしかなかったf***
1996/1~1999/6/17までのコミットからソースコードを取得してUnderstandにかけなければいけない

↑

8/8†

既存のソースコードデータ：1996/1~2018/12
- 追加で必要なデータ：1996/1（1/14からのデータしかない），2018/12（12/5までのデータしかない）
- commitのcommit_idとすでにunderstandで取得済みのsource(メトリクスデータ)のcommit_idを紐付けて，sourceのメトリクスデータにdateを追加する（pandasでする）
既存のバグデータ：2000/8~2017/12
- 追加で必要なデータ：1996/1~2000/8，2017/12~2018/12

↑

8/1†

httpdのソースコード（understand処理済み）・バグデータ・メールデータがある
ただし，期間が足りない（2000~2016とか）ので必要な期間の差分をとってくる
サーバにリビジョンをとってきて，understandで.cファイルのメトリクスだけ取得する
バグデータは取得するのに時間がかかるから早めの方がいいかも

↑

7/26†

野口さんのツールでgithubからApache httpdのソースコードをリビジョン毎に取得

httpdをクローン

$ git clone https://github.com/apache/httpd.git

ログ（ハッシュ）を出力

$ git log --since=YYYY-M-D --until=YYYY-M-D --pretty=%H

↑

7/17†

PostgreSQLドライバのpsycopg2をインポートしてDBに接続，DataFrameでメトリクス整形
News Formusから抽出するメトリクスの取得完了
残りはソースコード，ソースコードの変更履歴，不具合修正履歴から抽出するメトリクス

↑

6/29†

PL/Pythonインストールできなかった（OSによって無理なものもあるらしい）

↑

6/28 研究進捗†

Mboxデータが膨大なため，psqlである程度の処理がしたい(for, ifなど)
SQL手続き言語であるPL/pgSQL使おうとしたけど慣れていないので使いにくい
PythonでDBサイドで動くモジュールを作れるPL/Pythonが有能では？
- psndasやnumpy などのPythonライブラリが使えるかも

↑

6/27 研究進捗†

1996~2018年のMboxデータをpsqlに取得（1995年のデータはMboxの形式が少し違うため取得しなかった）
データから，遅延相関分析にかけるためのメトリクスを整形中
- psqlでは複雑な条件式が書けないため大雑把な処理だけを行い，あとはpythonのpandasで実行した方がいいかも

↑

6/22 研究進捗†

ここからMailデータ取ってくる（手作業やとしんどそう）
- http://mail-archives.apache.org/mod_mbox/httpd-dev/
Bugデータ取得は野口さんのrepotools解析待ち
GitHubから（リビジョン毎に）ソースコード取得できない(´･_･`)

↑

6/20 研究進捗†

pythonでapache httpdのGitHubから2016/1~2019/1の期間でC言語のソースコードをリビジョンごとに取得する
取得したデータをUnderstandにかける

↑

6/10 MSR班MTG†

説明例（疑似相関は例としては使わない）
- 睡眠時間が短い日が一定以上続くと（加算），ある日から一定期間でのタスク量が減る（加算）
- 疑似相関：風が吹くと（差分）桶屋が儲かる（差分）
- 疑似相関：猫が顔を洗う（差分）と雨が降る（差分）
- 育毛剤を使っている（加算）人ほど10年後にはげる（差分）
  ※この例を公に使うと研究者の大半を敵に回す恐れあり

↑

6/6†

研究進捗
- repo_toolsのMboxデータ抽出ツールの解析・デバッグほぼ終了，データをローカルDBに取得可能に
- 既存研究の遅延相関分析で使われていたMboxに関係するメトリクスを調べてそれを抽出するプログラムを作る必要がある
研究協力
- 使い方のドキュメント化はまだしてない（いつかする）

↑

6/3†

MSR班
- 遅延相関分析のためのパラメータ設定の理由づけ（加算・差分の組み合わせ）
  身近な事象で具体例をだす　（例）お金の増減，睡眠時間，同時に付き合っている彼女の数 etc

↑

5/30†

輪講
- GNU（グヌー）
MSR班
- 加算差分遅延の組み合わせの理由づけを考える
- 元々は「喫煙の積み重ね（加算）が将来に与える影響（差分）」という形だった
- 6月データ収集，7月遅延相関実行&分析，8月卒論執筆完了，9月留学

↑

5/29†

研究進捗
- httpサーバの2000~2016年のデータはあるので，2018年までの追加のデータ（バグ，メール，ソースコード）を取得する
- バグデータ（Bugzilla）とメールデータ（Mbox）はrepotoolsを使い取得する
  →バグデータ取得のためのドキュメント作成は野口さん，Mboxで取得するためのドキュメントは6月研究協力で自分で作成する

↑

5/9†

輪講
- データ漏洩ってなに？→シンプルにdata leakageでよかった

↑

5/8†

再現結果(相関係数の絶対値が0.4以上の関係)
- 蘆田さん：349件，加藤：608件
- 蘆田：ratioCommentToCode countLineComment 0.692241875 11 10 9
  加藤：ratioCommentToCode countLineComment 0.999567912724544 6 11 11
- 相関係数0.99･･･など明らかに高い値のものもある
  →データを目視して結果として有効なものか確認するべき
- コード確認→自分のコードは正しく計算されていると思う，蘆田さんの出力結果はどうやって得たのか？→わからない
- 先に進んでいいのか？
山谷さんの論文を参考にコードを書き換える
- 「提案手法では，目的変数となるメトリクスの値が 1 時点前の値と比べて 5%以下の変化率しかない場合，目的変数の変化量 rnn と，rnn とペアとなる説明変数の累積値 eij を除去する.」
- 遅延係数が0~11まであるので，どこまでを除去したらいいかわからない
  メトリクスの値を目視して手作業で除去する？

↑

5/7†

蘆田さん研究再現
- Pythonで実行中（今日の18時までに終わる予定）
テストデータで実行
山谷さんの論文読み直す
他のOSSプロジェクトのデータを使ってみる

加藤/Progress の履歴(No.30)

progress†

11/19†

11/11†

10/24†

10/24 MSRミーティング†

10/18†

10/4†

9/1 ~ 9/28 フィリピン留学†

8/20†

8/19†

8/11†

8/10†

8/8†

8/1†

7/26†

7/17†

6/29†

6/28 研究進捗†

6/27 研究進捗†

6/22 研究進捗†

6/20 研究進捗†

6/10 MSR班MTG†

6/6†

6/3†

5/30†

5/29†

5/9†

5/8†

5/7†

9/1 ~ 9/28　フィリピン留学†