吉富 の履歴(No.28)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 吉富 へ行く。
  • 1 (2018-05-22 (火) 13:37:20)
  • 2 (2018-05-23 (水) 17:57:36)
  • 3 (2018-05-24 (木) 04:16:06)
  • 4 (2018-05-28 (月) 05:31:23)
  • 5 (2018-05-28 (月) 07:26:12)
  • 6 (2018-05-28 (月) 10:08:20)
  • 7 (2018-05-29 (火) 06:44:48)
  • 8 (2018-05-31 (木) 04:57:42)
  • 9 (2018-06-04 (月) 01:01:44)
  • 10 (2018-06-04 (月) 05:38:54)
  • 11 (2018-06-05 (火) 05:51:11)
  • 12 (2018-06-07 (木) 07:10:55)
  • 13 (2018-06-11 (月) 05:17:57)
  • 14 (2018-06-13 (水) 14:19:49)
  • 15 (2018-06-19 (火) 06:45:45)
  • 16 (2018-06-23 (土) 18:41:45)
  • 17 (2018-06-24 (日) 16:10:52)
  • 18 (2018-06-29 (金) 09:16:41)
  • 19 (2018-07-02 (月) 02:11:43)
  • 20 (2018-07-02 (月) 04:51:54)
  • 21 (2018-07-03 (火) 07:30:55)
  • 22 (2018-07-05 (木) 02:56:43)
  • 23 (2018-07-07 (土) 17:52:40)
  • 24 (2018-07-09 (月) 00:55:58)
  • 25 (2018-07-11 (水) 05:14:55)
  • 26 (2018-07-12 (木) 06:09:30)
  • 27 (2018-07-22 (日) 12:46:59)
  • 28 (2018-07-23 (月) 04:09:43)
  • 29 (2018-07-25 (水) 12:53:45)
  • 30 (2018-07-28 (土) 06:30:21)
  • 31 (2018-07-30 (月) 04:25:04)
  • 32 (2018-08-05 (日) 06:45:18)
  • 33 (2018-08-05 (日) 14:09:46)
  • 34 (2018-08-06 (月) 02:55:50)
  • 35 (2018-08-06 (月) 06:20:37)
  • 36 (2018-08-20 (月) 05:14:41)
  • 37 (2018-08-21 (火) 03:23:54)
  • 38 (2018-08-21 (火) 07:26:50)
  • 39 (2018-08-28 (火) 03:41:39)
  • 40 (2018-09-09 (日) 14:39:05)
  • 41 (2018-09-20 (木) 05:03:36)
  • 42 (2018-09-21 (金) 06:16:13)
  • 43 (2018-09-26 (水) 05:15:18)
  • 44 (2018-10-01 (月) 02:02:55)
  • 45 (2018-10-02 (火) 08:00:16)
  • 46 (2018-10-04 (木) 05:09:37)
  • 47 (2018-10-11 (木) 04:57:27)
  • 48 (2018-10-11 (木) 05:45:23)
  • 49 (2018-10-15 (月) 04:01:48)
  • 50 (2018-10-15 (月) 07:09:00)
  • 51 (2018-10-18 (木) 03:07:07)
  • 52 (2018-10-27 (土) 08:23:47)
  • 53 (2018-11-01 (木) 03:53:52)
  • 54 (2018-11-02 (金) 01:32:40)
  • 55 (2018-11-03 (土) 07:07:17)
  • 56 (2018-11-04 (日) 16:08:51)
  • 57 (2018-11-05 (月) 05:20:06)
  • 58 (2018-11-05 (月) 05:20:06)
  • 59 (2018-11-18 (日) 18:19:38)
  • 60 (2018-11-18 (日) 18:19:38)
  • 61 (2018-11-20 (火) 10:34:43)
  • 62 (2018-11-21 (水) 08:04:08)
  • 63 (2018-11-21 (水) 10:23:25)
  • 64 (2018-11-26 (月) 17:28:07)
  • 65 (2018-11-28 (水) 08:48:59)
  • 66 (2018-12-03 (月) 01:44:05)
  • 67 (2018-12-03 (月) 03:03:16)
  • 68 (2018-12-07 (金) 05:55:02)
  • 69 (2018-12-12 (水) 14:23:59)
  • 70 (2018-12-17 (月) 04:05:49)
  • 71 (2018-12-20 (木) 09:33:40)
  • 72 (2018-12-20 (木) 15:04:23)
  • 73 (2019-01-10 (木) 07:30:59)
  • 74 (2019-01-10 (木) 07:32:47)
  • 75 (2019-01-25 (金) 08:25:33)
  • 76 (2019-03-07 (木) 07:47:35)
  • 77 (2019-03-08 (金) 07:23:28)
  • 78 (2019-03-13 (水) 15:55:10)
  • 79 (2019-04-03 (水) 04:23:33)
  • 80 (2019-04-08 (月) 02:52:40)
  • 81 (2019-04-25 (木) 00:58:45)
  • 82 (2019-06-12 (水) 01:38:52)
  • 83 (2019-07-11 (木) 02:55:52)
  • 84 (2019-08-05 (月) 06:55:19)
  • 85 (2019-08-07 (水) 02:05:17)
  • 86 (2019-08-07 (水) 06:52:29)
  • 87 (2019-08-08 (木) 06:35:14)
  • 88 (2019-08-09 (金) 05:23:59)
  • 89 (2019-08-14 (水) 05:05:18)
  • 90 (2019-08-19 (月) 03:48:08)
  • 91 (2019-08-21 (水) 00:24:37)
  • 92 (2019-08-28 (水) 03:50:08)
  • 93 (2019-10-08 (火) 07:18:40)
  • 94 (2019-10-18 (金) 05:55:21)
  • 95 (2019-10-23 (水) 06:11:33)
  • 96 (2019-10-25 (金) 02:33:52)
  • 97 (2019-10-30 (水) 23:39:56)
  • 98 (2019-11-01 (金) 05:14:32)
  • 99 (2019-11-06 (水) 07:27:46)
  • 100 (2019-11-07 (木) 02:03:35)
  • 101 (2019-11-08 (金) 05:45:41)
  • 102 (2019-11-13 (水) 06:11:14)
  • 103 (2019-11-13 (水) 17:15:33)
  • 104 (2019-11-14 (木) 14:10:11)
  • 105 (2019-11-15 (金) 05:33:19)
  • 106 (2019-11-17 (日) 18:04:59)
  • 107 (2019-11-18 (月) 15:06:27)
  • 108 (2019-11-19 (火) 02:43:52)
  • 109 (2019-11-21 (木) 02:05:30)
  • 110 (2019-11-25 (月) 08:06:31)
  • 111 (2019-12-03 (火) 07:02:18)
  • 112 (2019-12-06 (金) 05:18:50)
  • 113 (2020-01-15 (水) 07:47:28)
  • 114 (2020-01-15 (水) 07:47:29)
  • 115 (2020-01-17 (金) 06:06:23)
  • 116 (2020-01-20 (月) 04:16:37)
  • 117 (2020-01-21 (火) 08:33:04)
  • 118 (2020-01-28 (火) 14:21:46)
  • 119 (2020-01-30 (木) 02:31:10)
  • 120 (2020-02-03 (月) 06:28:23)

---

吉富

Memo†

読む論文†

Schedule†

Goal†

• SilentHorrorsの発見

研究のイメージ†

• 「テストのテストは誰がやるのか？」は実際に現場から発せられた声で、10000行のコードに対して20000行のテストコードを書いた場合、そのテストは40000行になり、さらに80000行....のようなことは現実的に不可能。また、コードが間違っているかもしれないと疑いを持った状態で、テストコードを書くのはプログラマにとって非常に不安なものである。
• テストコードに欠陥が報告されるともちろん修正が行われるが、後に新たな修正が必要な場合(REOPENED)や、欠陥がそのまま発見されず、ソースコードのバグが見逃される場合(Silent Horrors)が存在する。このような状態のものが多いプロジェクトでは信頼性が上がらず、またテスターはそのような欠陥を発見しにくい。
• 先ずはテストコードにそのような欠陥があるのかどうかを調査し、発見できた場合、それがどのような分類できるのかを検証することを目標とする。
• 対象範囲としては, バグ報告が行われていない部分全てとなる。また修正やバグ報告が行われた場合, REOPENEDが行われた場合をのぞいて対象範囲からは除外する。
• Silent Horrorsなどの欠陥を発見するためのツールとしてTravisCIを用いる。また、テストコードはJUnitを使用し、プロジェクトを独自にテストすることを試みる。
• この研究が完成すれば、企業などでソフトウェアテストをする際に、テストにおける最悪の失敗（テストの謝りによってバグが見逃される）を事前に知っておくことが可能となり、プログラマ自身が安心してコードを打つことができるであろう。

卒業論文のイメージ†

野望†

• この研究を機械学習を通して比較実験する（院での研究内容にいいかも？）
• TravisCIについての本が無いので、自分で書いてしまうのも面白い（ネットの説明では不十分・煩雑で使いにくい。また、ビルドツールとの連携方法が微妙）

ミーティング†

• 毎週月曜13:00〜

独習コーナー†

• 吉富/Java独習
• 吉富/アルゴリズム

研究会目標†

• ソフトウェアエンジニアリングシンポジウム2018 IPSJ/SIGSE Software Engineering Symposium (SES2018) 開催日程：2018年9月5日(水)〜9月7日(金) ワークショップ日：2018年9月5日(水)開催場所：東洋大学 白山キャンパス
• 査読なし一般論文　＋　ポスター展示
• 〆切: 2018年7月27日

活動報告†

7/23†

Done†

• 今回の研究発表会で指摘された内容

Todo†

7/17〜20†

Done†

• SIGSS研究発表会に参加
• 熱い議論が交わされ，非常に興味深いものであった．
• SIGSS研究会論文概要と所感: SIGSS活動報告.rtf

7/13†

Done†

• ICSE勉強会で発表
• 統計の勉強はしっかりしておいたほうが良い
• ビルドツールについて、自動で原因ファイルを自動で特定するフレームワークReplocが提案されていた
• 継続的インテグレーションの論文があった！！

7/11†

Done†

• テストコードを調査中。3つ目が非常に多いので時間がかかっている
• (Excel): プロダクトコードとテストコードのバグ修正検証2_2.xlsx

Todo†

7/08†

Done†

• 研究進捗状況(pdf): 研究進捗状況４_0.pdf
• ファイルログが非常に多いためログをたどっていくのが大変。テストコードの変更を１つずつ見ていくためコミットが大量にされているものは時間がかかりそう。

7/05†

Done†

• Excelの項目を追加(なぜ欠陥が見逃されたのか？・テストコードにおける変更内容・ファイルパス・ファイルログ)
• (excel): プロダクトコードとテストコードのバグ修正検証2_1.xlsx

7/03†

Done†

• リサーチクエスチョンを考えてみた
  • RQ1:re-openedにとしてタグ付けされたテストコードは, 再修正される前と後ではどのように変化しているか？
  • RQ2:re-openedにタグ付けされたテストコードのバグは(一般的なカテゴリとして)分類することはできるのか？
  • RQ3:re-openedにタグ付けされたテストコードで発見されたバグは未発見のバグを発見することができるのか？

7/02†

Done†

• 今後どのように分析を行っていくのか？
• そろそろリサーチクエスチョンを設定すべきか？

TODO†

• REOPENED前のテストコードとその後のコードを比較する
• GITの勉強をする
• 大まかなリサーチクエスチョンを立ててみる(３年間でやりたいこと)
• 再修正された原因をみる

6/29†

Done†

• REOPENED(テスト再修正)分析の終了
• リグレッションにおけるテストの失敗が最も多い結果となった
• 今後はなぜ再修正することになったのか、その原因を探る
• リグレッションについて論文を読む必要がある
• 再修正については大平先生*伊原先生の論文を参考にする(その他再修正に関する論文は適宜参考にしたい)
• (excel): プロダクトコードとテストコードのバグ修正検証2_0.xlsx

6/24†

Done†

• REOPENED(テスト再修正)73件を分析中(現在40件)
• (excel): プロダクトコードとテストコードのバグ修正検証2.xlsx

6/19†

Done†

• REOPENED(テスト再修正)73件を分析中(現在19件)
• (excel): プロダクトコードとテストコードのバグ修正検証_8.xlsx

TODO†

• 73件の分析を終了させる
• とりあえずカテゴリ分けをしてみる

6/13†

Done†

• DERBYの3496件(タグ：Bug 状態：Closed Component/s::Test)を分析、このうちREOPENEDされていたものは73件(2%)存在していた
• (excel): プロダクトコードとテストコードのバグ修正検証_7.xlsx

6/11†

Done†

• JUnitについて最低限の基礎知識が理解できた
• 継続的インテグレーションへの応用を行うことができた
• 今後の対象を発見する際の指標を考えた
• 研究進捗状況(pdf): 研究発表スライド3.pdf

6/07†

Done†

• JUnitを用いて、バグが混入したソースコードに単体テストを実行し、デバッグを行った
• Junit入門(pdf)：Junit入門【効率的な単体テストの実行】.pdf
• JUnitの使い方の学習は以上とし、以降、ビルドツールの使い方について学習する。
• JUnitとTravisCIを連携させることに成功した(Antを用いて実行成功した)

6/05†

Done†

• JUnitの使い方について概ね理解することができた
• Junit入門(pdf)：Junit入門【技法の実践方法】_0.pdf
• 今回の例はカバレッジも完璧なものでバグも入っていなかったので、次はバグが混入した場合についてどのように対処するのかを学習する

6/04†

Done†

• JUnitの学習を継続中。基本的なところが理解できてきた
• Junit入門(pdf)：Junit入門【技法の実践方法】.pdf
• 「An Empirical Study of Bugs in Test Code」をもう一度読み直し, 忘れていたところや重要な点を再確認した
• 研究発表会(輪講)の修正版(pdf)：An Empirical Study of Bugs in Test Code_0.pdf
  • データの抽出について、今回の研究に使えそうな感じがした（バグ管理ツールもJiraを使っているのでちょうど良い）

TODO†

• CCTのテストを試してみる
• JUnitの学習を継続。使える段階にはしたい（今後使うことになるので）
• Antの使い方, Jiraの見方も合わせて学習する

5/31†

Done†

• Junit入門(pdf)：JUnit入門【テストコードを書く】_0.pdf
  • Junitの基本的な使い方についてまとめた

5/29†

Done†

• もう少しでTravisCIが動きそうな気がする
• https://github.com/hyo-hyo-tommy

5/28†

Done†

• 現地点の状況
• (excel): 研究発表スライド2.pdf
  • →図があまり正確ではない。テストにバグありきの図だけではなくて、テストコードの欠陥が見逃されているのに成功した場合についても記述すべき。

TODO†

• 「An Empirical Study of Bugs in Test Code」の読み直し→来週の輪講で発表する
• Derbyを用いる（Apacheプロジェクト）
  • jiraの見方を学習
  • Bugラベル・test・REOPENEDになっているものを探す。（見つけられそうな気がする）
• JUnitを勉強する（単体テストについて）
• Jenkinsとsonarcubeも学習できれば

5/24†

Done†

• TravisCIの使い方についてまとめた
• (pdf): TravisCI入門.pdf

5/22†

Done†

• 新しいプロジェクトの候補を決めた
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_6.xlsx
• https://jira.sonarsource.com/browse/SONAR-2102?jql=project%20%3D%20SONAR%20AND%20status%20%3D%20Closed%20AND%20text%20~%20%22test%22%20ORDER%20BY%20priority%20DESC
• https://issues.apache.org/jira/browse/DERBY-5072?jql=project%20%3D%20DERBY%20AND%20text%20~%20%22test%22

TODO†

• GithubとtravisCIの学習をする

5/21†

Done†

• bugラベルが貼り付けられているものを集めた
• REOPENされているものの分析を始めた
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_5.xlsx

TODO†

• Mybatisはまずかったかもしれない
• テストの研究が盛んに行われているプロジェクトを研究する

5/17†

Done†

• 分析項目を増やした(「テストの誤り」という言葉が曖昧すぎるため、細分化する)
• テストコードの欠陥がどのようなものがあるか分類する必要がある
• 欠陥分類の参考：http://ece.ubc.ca/~arashvhb/testbugs-study/
• enhancementにbugラベルがあるもの、かつclosedしているものを調査するように変更
• テストにも様々な種類があるため、これも細分化する必要あり。
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_4.xlsx

Todo†

• バグの種類の細分化について学習する
• どのようなソフトウェアテスト が行われているのかを分析する

5/14†

Done†

• SIGSS７月研究会@帯広の原稿
• (pdf): SIGSS帯広発表原稿_1.pdf
• 分析を幾つか進めたが、テストコードに誤りがあるものは発見できなかった。
• 別のプログラムで検証する必要がありそう。
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_3.xlsx

5/11†

Done†

• 「SIGSS７月研究会@帯広」に向けて準備を開始
• 現段階の状況をまとめる

TODO†

• 論文に記入する項目を口語体で箇条書きする
• 5月15日〆切。これまでに考えをまとめる

5/7†

Done†

• サンプリングの分析を続行中(Javaの障壁を目の前に足踏みしている状態)
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_2.xlsx
• 次次回に発表予定の研究進捗状況
• (pdf): 研究発表スライド.pdf
• 単体テストでは研究対象は見つかりにくいかも
• 依存関係が複雑なものを探して見ることを考慮すべき

Todo†

• 引き続き分析を続ける(75個ぐらいまで進んだら一旦ストップ)

5/1†

Done†

• サンプリングの分析を続行中
• わからないものが多数存在する(テストかプロダクトかどちらが先なのかを判断しにくい)
• 1つ怪しいもの(テストコードにバグが存在すると考えられるもの)を発見した
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_1.xlsx

4/25†

Done†

• 150個のサンプリングを終了
• テストコードの分析を開始
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_0.xlsx

4/23†

Done†

• １週間で、プロダクトコードとテストコード共に誤りが見られるものを50個発見した(全体の約1/3のコミットを目視した)
• (excel): プロダクトコードとテストコードのバグ修正検証.xlsx

TODO†

• タイプ分けをする(カテゴリ分け)
• 何をテストされているのかの中身を分析する
• さらに検証を進める(最終的には150個くらいのデータは欲しい)

4/17†

Done†

• テストコードとプロダクトコードともに誤りがあるものの調査を開始した。（とりあえずプロダクトコードとテストコードが同時に存在するものを集めた）

4/15†

Done†

• 論文の比較を行った（研究の立ち位置を整理する）
• (excel): 論文比較シート.xlsx

TODO†

• GithubのMybatisにおいて、プロダクトコードとテストコード共に誤りが見られるものを目視で数個発見し説明できるようにまとめる．

• SIGSE/SIGSS＠北海道投稿準備
  • 背景
    • 様々なオープンソースプロジェクトの開発が進むなか、多くのプロジェクトでは, 大量のテストコードが開発中にプロダクトコードとともに進化している(A. Zaidman, B. Van Rompaey, A. van Deursen, and S. Demeyer, “Studying the co-evolution of production and test code in open source and industrial developer test processes through repository mining,” Empirical Software Engineering, 16(3), pp. 325-364, June 2011. )。テストコードとプロダクトコードの比が1：1とも報告されている（A. van Deursen, L. Moonen, A. van den Bergh, and G. Kok, “Refactoring test code,” 2nd Int. Conf. on Extreme Programming and Flexible Processes in Software Engineering (XP 2001), 2001. ）このような不具合は信頼性などに対して悪影響を及ぼす。
  • 先行研究（問題定義）
    • プロダクトコードやテストコードそれそれがコミットされた際に発生するバグについて研究がされている。しかし、テストコードの誤りによって発生した誤りについては研究がされていない。本研究では積集合で発生するバグについて目視で発見することを試みる。
  • RQ（分析方法）
  • 結果
  • 考察（議論）

4/13†

Done†

• Java独習を始めた
• 「Comparing White-box and Black-box Test Prioritization」についてまとめた
• (word): Comparing White-box and Black-box Test Prioritization_1.docx
• 当分の目標を柏先輩のアドバイスを頂いて決定した
• 目標：GithubのMybatisにおいて、プロダクトコードとテストコード共に誤りが見られるものを目視で発見し、テストコードの意味を理解する。最終的には、このようなケースを自動的に発見できるツールを作る、あるいは、目視と機械的な作業との間にどのくらいの差分があるのかを調査する、など。
• そのために、「基本から学ぶソフトウェアテスト」（理論の理解）、「現場で使えるソフトウェアテスト」（テストコードを実際に作成する）を学ぶ
• そのためにJAVAの復習を行う。

4/10†

Done†

• 「Comparing White-box and Black-box Test Prioritization」を読み始めた
• (word): Comparing White-box and Black-box Test Prioritization_0.docx
• 回帰テストについて調べた
• (word): 回帰テスト.docx

4/09†

Done†

• ホワイトボックステストについてまとめた
• (word): ホワイトボックステスト.docx

4/08†

Done†

• 「Automated Static Analysis of Unit Test Code」をまとめた
• (word): Automated Static Analysis of Unit Test Code.docx
• テストコードを読む練習を始めた（Java）・・・難しい

メモ†

• １週間の活動を通じて判明した自分の立ち位置
• ソフトウェアテストに関する研究は全体的に浅く研究はされている。が、深くは研究されていない。特に、面倒な作業が待っている研究については手を触れていないのが現状である。しかし、それこそが最も重要で現状の問題を根本的に解決する可能性のあるものであり、研究が行われるべき部分である。
• また、テストコードに関する研究は、従来はプロダクトコードにばかり注目が集まっていたようであるが、最近はテストコードに関する研究も増加している。「Automated Static Analysis of Unit Test Code」にもあるように、プロダクトコードが発展するにつれてテストコードも同様に発展するが、テストコードで起こるバグは解決しにくいものであり、それでいてこれに問題点があれば意味がないという、非常に複雑な立場にあるものである。学校の期末試験に問題があれば生徒の学力レベルを測ることができないのと同様に、テストコードに問題があれば製品の質は上がらない。
• 以上のことより、本研究を完成させることによりテストコードの信頼性が増し、より信頼性のある製品を作るための、品質そのものを保証することに繋がると予想される。

TODO†

• 研究の立ち位置を整理する
• JAVA勉強会しようぜ（オブジェクト指向演習の復習）
• TOEIC勉強会しましょう（院試に備えて）

4/06†

Done†

• 確率統計「入門統計学」第1章を読み終えた
• 入門統計学第1章（pdf）：データの整理と簡約化.pdf
• 「The Impact of Coverage on Bug Density in a Large Industrial Software Project」をまとめた
• (word): The Impact of Coverage on Bug Density in a Large Industrial Software Project-2.docx
• 「Automated Static Analysis of Unit Test Code」を読み始めた

4/05†

Done†

• アサーションについてまとめた
• （pdf）：期待される挙動のアサーション.pdf
• 確率統計「入門統計学」第1章を読み進めた（来週にまとめたものを発表する）

4/02†

Done†

• 「The Impact of Coverage on Bug Density in a Large Industrial Software Project」を読み進めた

Todo†

• 自分の立場を確認する（研究をするにあたって、何が研究されていて何が掘り進められていないのか）

3/28†

Done†

• 「The Impact of Coverage on Bug Density in a Large Industrial Software Project」に目を通した
• 疑問点がかなり多い。特にわからないワードが多く出てきた

Todo†

• 論文まとめに記載している疑問点について解消する

メモ†

• 検定（確率・統計）の勉強会を4年生で近々開催すべき（取り纏め：大東）

3/27†

Done†

• 春休み成果報告資料
• （pptx）：春休み成果報告_0.pptx
• （pdf）：春休み成果報告-3.pdf
• 「An Empirical Study of Bugs in Test Code 」を読んだ

Todo†

3/26†

Done†

• 「An Empirical Study of Bugs in Test Code 」導入部分を読んだ

Todo†

3/24†

Done†

• 「OSS 開発における欠陥数とカバレッジ（範囲）の関係に基づく. 継続的インテグレーションの有効性検証」を読んだ

Todo†

3/16†

Done†

• 読むべき論文を決めた

Todo†

• 読むべき論文を読む（４月上旬までに）

テンプレ†

Done†

Todo†

論文†

Studying re-opened bugs in open source software†

• (pdf)： [添付]

Oops, My Tests Broke the Build:An Explorative Analysis of Travis CI with GitHub†

• (pdf)：An Explorative Analysis of Travis CI with GitHub.pdf
• Travis CIの分析: 1/3が使用、結構普及している
• ビルド破壊がテストの失敗を招く

Comparing White-box and Black-box Test Prioritization†

• (word)：Comparing White-box and Black-box Test Prioritization_2.docx
• ブラックボックスについての研究があまりされていないことが判明した
• 回帰テストの最適化に関してホワイトボックスは２０年近く研究されている

Automated Static Analysis of Unit Test Code||SANER16†

• (word)：Automated Static Analysis of Unit Test Code-2.docx
• JfreeChartについては検証されたが、他のプロジェクトについては実験されていないため、比較実験をすると他の展望が見えてくるかもしれない。
• まとめでレビューの重要性についても述べていたので、自動静的解析とレビューを相互利用できるような手法を探すのも面白いかもしれない

The Impact of Coverage on Bug Density in a Large Industrial Software Project†

• (word): The Impact of Coverage on Bug Density in a Large Industrial Software Project-2.docx
• カバレッジとはそもそも何なのか？
• ウィルコクソンの符号順位検定とは何でどんな時に使うのか？他の検定はあるか？帰無仮説と対立仮説とは何か？
• カバレッジ率と不具合出現率にはどのような関係があるのか？

An Empirical Study of Bugs in Test Code†

• (pdf)：An Empirical Study of Bugs in Test Code_1.pdf
• テストケースは、テストされるコードよりもエラーを含む可能性が高い
• テストバグの蔓延、影響、主要な原因カテゴリを特徴付けるテストバグに関する広範な研究
• テストコードのバグは３％のSilent horror test bugsと９７％のFalse alermsに分けられる
• 開発者はテストバグに対して積極的に貢献することが判明した

OSS 開発における欠陥数とカバレッジ（範囲）の関係に基づく. 継続的インテグレーションの有効性検証†

• （word）： File not found: "OSS開発における欠陥数とカバレッジの関係に基づく継続的インテグレーションの有効性検証.docx" at page "吉富"[添付]
• 見逃し欠陥の怖さと発見の難しさを感じた。また、プロジェクトにおけるテストカバレッジの重要性も理解できた。