吉富 の履歴(No.4)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 吉富 へ行く。
  • 1 (2018-05-22 (火) 13:37:20)
  • 2 (2018-05-23 (水) 17:57:36)
  • 3 (2018-05-24 (木) 04:16:06)
  • 4 (2018-05-28 (月) 05:31:23)
  • 5 (2018-05-28 (月) 07:26:12)
  • 6 (2018-05-28 (月) 10:08:20)
  • 7 (2018-05-29 (火) 06:44:48)
  • 8 (2018-05-31 (木) 04:57:42)
  • 9 (2018-06-04 (月) 01:01:44)
  • 10 (2018-06-04 (月) 05:38:54)
  • 11 (2018-06-05 (火) 05:51:11)
  • 12 (2018-06-07 (木) 07:10:55)
  • 13 (2018-06-11 (月) 05:17:57)
  • 14 (2018-06-13 (水) 14:19:49)
  • 15 (2018-06-19 (火) 06:45:45)
  • 16 (2018-06-23 (土) 18:41:45)
  • 17 (2018-06-24 (日) 16:10:52)
  • 18 (2018-06-29 (金) 09:16:41)
  • 19 (2018-07-02 (月) 02:11:43)
  • 20 (2018-07-02 (月) 04:51:54)
  • 21 (2018-07-03 (火) 07:30:55)
  • 22 (2018-07-05 (木) 02:56:43)
  • 23 (2018-07-07 (土) 17:52:40)
  • 24 (2018-07-09 (月) 00:55:58)
  • 25 (2018-07-11 (水) 05:14:55)
  • 26 (2018-07-12 (木) 06:09:30)
  • 27 (2018-07-22 (日) 12:46:59)
  • 28 (2018-07-23 (月) 04:09:43)
  • 29 (2018-07-25 (水) 12:53:45)
  • 30 (2018-07-28 (土) 06:30:21)
  • 31 (2018-07-30 (月) 04:25:04)
  • 32 (2018-08-05 (日) 06:45:18)
  • 33 (2018-08-05 (日) 14:09:46)
  • 34 (2018-08-06 (月) 02:55:50)
  • 35 (2018-08-06 (月) 06:20:37)
  • 36 (2018-08-20 (月) 05:14:41)
  • 37 (2018-08-21 (火) 03:23:54)
  • 38 (2018-08-21 (火) 07:26:50)
  • 39 (2018-08-28 (火) 03:41:39)
  • 40 (2018-09-09 (日) 14:39:05)
  • 41 (2018-09-20 (木) 05:03:36)
  • 42 (2018-09-21 (金) 06:16:13)
  • 43 (2018-09-26 (水) 05:15:18)
  • 44 (2018-10-01 (月) 02:02:55)
  • 45 (2018-10-02 (火) 08:00:16)
  • 46 (2018-10-04 (木) 05:09:37)
  • 47 (2018-10-11 (木) 04:57:27)
  • 48 (2018-10-11 (木) 05:45:23)
  • 49 (2018-10-15 (月) 04:01:48)
  • 50 (2018-10-15 (月) 07:09:00)
  • 51 (2018-10-18 (木) 03:07:07)
  • 52 (2018-10-27 (土) 08:23:47)
  • 53 (2018-11-01 (木) 03:53:52)
  • 54 (2018-11-02 (金) 01:32:40)
  • 55 (2018-11-03 (土) 07:07:17)
  • 56 (2018-11-04 (日) 16:08:51)
  • 57 (2018-11-05 (月) 05:20:06)
  • 58 (2018-11-05 (月) 05:20:06)
  • 59 (2018-11-18 (日) 18:19:38)
  • 60 (2018-11-18 (日) 18:19:38)
  • 61 (2018-11-20 (火) 10:34:43)
  • 62 (2018-11-21 (水) 08:04:08)
  • 63 (2018-11-21 (水) 10:23:25)
  • 64 (2018-11-26 (月) 17:28:07)
  • 65 (2018-11-28 (水) 08:48:59)
  • 66 (2018-12-03 (月) 01:44:05)
  • 67 (2018-12-03 (月) 03:03:16)
  • 68 (2018-12-07 (金) 05:55:02)
  • 69 (2018-12-12 (水) 14:23:59)
  • 70 (2018-12-17 (月) 04:05:49)
  • 71 (2018-12-20 (木) 09:33:40)
  • 72 (2018-12-20 (木) 15:04:23)
  • 73 (2019-01-10 (木) 07:30:59)
  • 74 (2019-01-10 (木) 07:32:47)
  • 75 (2019-01-25 (金) 08:25:33)
  • 76 (2019-03-07 (木) 07:47:35)
  • 77 (2019-03-08 (金) 07:23:28)
  • 78 (2019-03-13 (水) 15:55:10)
  • 79 (2019-04-03 (水) 04:23:33)
  • 80 (2019-04-08 (月) 02:52:40)
  • 81 (2019-04-25 (木) 00:58:45)
  • 82 (2019-06-12 (水) 01:38:52)
  • 83 (2019-07-11 (木) 02:55:52)
  • 84 (2019-08-05 (月) 06:55:19)
  • 85 (2019-08-07 (水) 02:05:17)
  • 86 (2019-08-07 (水) 06:52:29)
  • 87 (2019-08-08 (木) 06:35:14)
  • 88 (2019-08-09 (金) 05:23:59)
  • 89 (2019-08-14 (水) 05:05:18)
  • 90 (2019-08-19 (月) 03:48:08)
  • 91 (2019-08-21 (水) 00:24:37)
  • 92 (2019-08-28 (水) 03:50:08)
  • 93 (2019-10-08 (火) 07:18:40)
  • 94 (2019-10-18 (金) 05:55:21)
  • 95 (2019-10-23 (水) 06:11:33)
  • 96 (2019-10-25 (金) 02:33:52)
  • 97 (2019-10-30 (水) 23:39:56)
  • 98 (2019-11-01 (金) 05:14:32)
  • 99 (2019-11-06 (水) 07:27:46)
  • 100 (2019-11-07 (木) 02:03:35)
  • 101 (2019-11-08 (金) 05:45:41)
  • 102 (2019-11-13 (水) 06:11:14)
  • 103 (2019-11-13 (水) 17:15:33)
  • 104 (2019-11-14 (木) 14:10:11)
  • 105 (2019-11-15 (金) 05:33:19)
  • 106 (2019-11-17 (日) 18:04:59)
  • 107 (2019-11-18 (月) 15:06:27)
  • 108 (2019-11-19 (火) 02:43:52)
  • 109 (2019-11-21 (木) 02:05:30)
  • 110 (2019-11-25 (月) 08:06:31)
  • 111 (2019-12-03 (火) 07:02:18)
  • 112 (2019-12-06 (金) 05:18:50)
  • 113 (2020-01-15 (水) 07:47:28)
  • 114 (2020-01-15 (水) 07:47:29)
  • 115 (2020-01-17 (金) 06:06:23)
  • 116 (2020-01-20 (月) 04:16:37)
  • 117 (2020-01-21 (火) 08:33:04)
  • 118 (2020-01-28 (火) 14:21:46)
  • 119 (2020-01-30 (木) 02:31:10)
  • 120 (2020-02-03 (月) 06:28:23)

---

吉富

Memo†

読む論文†

Schedule†

Goal†

• プロダクトコードとテストコードの積集合(プログラムにテストコードを実行させるとそれによって障害が起こる場合)の調査

研究のイメージ†

• いま、水(ソースコード)が上から降ってきている。しかしこの水には不純物（バグ）があり、これを取り除きたい。テストはザルのようなもので、このザルに穴が空いていたら、不純物がすりぬけて行ってしまう。開発者はこのザルに空いた穴を塞ごうと試みるが、中には塞ごうとしたのに塞げていなかったケースが存在するはずである。本研究では、このようなものが存在するのかどうかを研究する。
• 「テストのテストは誰がやるのか？」は実際に現場から発せられた声で、10000行のコードに対して20000行のテストコードを書いた場合、そのテストは40000行になり、さらに80000行....のようなことは現実的に不可能。また、コードが間違っているかもしれないと疑いを持った状態で、テストコードを書くのはプログラマにとって非常に不安なものである。
• 先ずはテストコードにそのような欠陥があるのかどうかを調査し、発見できた場合、それがどのような分類できるのかを検証することを目標とする。
• この研究が完成すれば、企業などでソフトウェアテストをする際に、テストにおける最悪の失敗（テストの謝りによってバグが見逃される）を事前に知っておくことが可能となり、プログラマ自身が安心してコードを打つことができるであろう。

Todo†

ミーティング†

• 毎週月曜13:00〜

Java独習コーナー†

吉富/Java独習

活動報告†

5/28†

Done†

• 現地点の状況
• (excel): 研究発表スライド2.pdf

TODO†

• Dervyを用いる
• jiraの見方
• Bugラベル・test・REOPENEDになっているものを探す
• JUnitを勉強する（単体テストについて）

5/24†

Done†

• TravisCIの使い方についてまとめた
• (pdf): TravisCI入門.pdf

5/22†

Done†

• 新しいプロジェクトの候補を決めた
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_6.xlsx
• https://jira.sonarsource.com/browse/SONAR-2102?jql=project%20%3D%20SONAR%20AND%20status%20%3D%20Closed%20AND%20text%20~%20%22test%22%20ORDER%20BY%20priority%20DESC
• https://issues.apache.org/jira/browse/DERBY-5072?jql=project%20%3D%20DERBY%20AND%20text%20~%20%22test%22

TODO†

• GithubとtravisCIの学習をする

5/21†

Done†

• bugラベルが貼り付けられているものを集めた
• REOPENされているものの分析を始めた
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_5.xlsx

TODO†

• Mybatisはまずかったかもしれない
• テストの研究が盛んに行われているプロジェクトを研究する

5/17†

Done†

• 分析項目を増やした(「テストの誤り」という言葉が曖昧すぎるため、細分化する)
• テストコードの欠陥がどのようなものがあるか分類する必要がある
• 欠陥分類の参考：http://ece.ubc.ca/~arashvhb/testbugs-study/
• enhancementにbugラベルがあるもの、かつclosedしているものを調査するように変更
• テストにも様々な種類があるため、これも細分化する必要あり。
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_4.xlsx

Todo†

• バグの種類の細分化について学習する
• どのようなソフトウェアテスト が行われているのかを分析する

5/14†

Done†

• SIGSS７月研究会@帯広の原稿
• (pdf): SIGSS帯広発表原稿_1.pdf
• 分析を幾つか進めたが、テストコードに誤りがあるものは発見できなかった。
• 別のプログラムで検証する必要がありそう。
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_3.xlsx

5/11†

Done†

• 「SIGSS７月研究会@帯広」に向けて準備を開始
• 現段階の状況をまとめる

TODO†

• 論文に記入する項目を口語体で箇条書きする
• 5月15日〆切。これまでに考えをまとめる

5/7†

Done†

• サンプリングの分析を続行中(Javaの障壁を目の前に足踏みしている状態)
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_2.xlsx
• 次次回に発表予定の研究進捗状況
• (pdf): 研究発表スライド.pdf
• 単体テストでは研究対象は見つかりにくいかも
• 依存関係が複雑なものを探して見ることを考慮すべき

Todo†

• 引き続き分析を続ける(75個ぐらいまで進んだら一旦ストップ)

5/1†

Done†

• サンプリングの分析を続行中
• わからないものが多数存在する(テストかプロダクトかどちらが先なのかを判断しにくい)
• 1つ怪しいもの(テストコードにバグが存在すると考えられるもの)を発見した
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_1.xlsx

4/25†

Done†

• 150個のサンプリングを終了
• テストコードの分析を開始
• 現地点の状況
• (excel): プロダクトコードとテストコードのバグ修正検証_0.xlsx

4/23†

Done†

• １週間で、プロダクトコードとテストコード共に誤りが見られるものを50個発見した(全体の約1/3のコミットを目視した)
• (excel): プロダクトコードとテストコードのバグ修正検証.xlsx

TODO†

• タイプ分けをする(カテゴリ分け)
• 何をテストされているのかの中身を分析する
• さらに検証を進める(最終的には150個くらいのデータは欲しい)

4/17†

Done†

• テストコードとプロダクトコードともに誤りがあるものの調査を開始した。（とりあえずプロダクトコードとテストコードが同時に存在するものを集めた）

4/15†

Done†

• 論文の比較を行った（研究の立ち位置を整理する）
• (excel): 論文比較シート.xlsx

TODO†

• GithubのMybatisにおいて、プロダクトコードとテストコード共に誤りが見られるものを目視で数個発見し説明できるようにまとめる．

• SIGSE/SIGSS＠北海道投稿準備
  • 背景
    • 様々なオープンソースプロジェクトの開発が進むなか、多くのプロジェクトでは, 大量のテストコードが開発中にプロダクトコードとともに進化している(A. Zaidman, B. Van Rompaey, A. van Deursen, and S. Demeyer, “Studying the co-evolution of production and test code in open source and industrial developer test processes through repository mining,” Empirical Software Engineering, 16(3), pp. 325-364, June 2011. )。テストコードとプロダクトコードの比が1：1とも報告されている（A. van Deursen, L. Moonen, A. van den Bergh, and G. Kok, “Refactoring test code,” 2nd Int. Conf. on Extreme Programming and Flexible Processes in Software Engineering (XP 2001), 2001. ）このような不具合は信頼性などに対して悪影響を及ぼす。
  • 先行研究（問題定義）
    • プロダクトコードやテストコードそれそれがコミットされた際に発生するバグについて研究がされている。しかし、テストコードの誤りによって発生した誤りについては研究がされていない。本研究では積集合で発生するバグについて目視で発見することを試みる。
  • RQ（分析方法）
  • 結果
  • 考察（議論）

4/13†

Done†

• Java独習を始めた
• 「Comparing White-box and Black-box Test Prioritization」についてまとめた
• (word): Comparing White-box and Black-box Test Prioritization_1.docx
• 当分の目標を柏先輩のアドバイスを頂いて決定した
• 目標：GithubのMybatisにおいて、プロダクトコードとテストコード共に誤りが見られるものを目視で発見し、テストコードの意味を理解する。最終的には、このようなケースを自動的に発見できるツールを作る、あるいは、目視と機械的な作業との間にどのくらいの差分があるのかを調査する、など。
• そのために、「基本から学ぶソフトウェアテスト」（理論の理解）、「現場で使えるソフトウェアテスト」（テストコードを実際に作成する）を学ぶ
• そのためにJAVAの復習を行う。

4/10†

Done†

• 「Comparing White-box and Black-box Test Prioritization」を読み始めた
• (word): Comparing White-box and Black-box Test Prioritization_0.docx
• 回帰テストについて調べた
• (word): 回帰テスト.docx

4/09†

Done†

• ホワイトボックステストについてまとめた
• (word): ホワイトボックステスト.docx

4/08†

Done†

• 「Automated Static Analysis of Unit Test Code」をまとめた
• (word): Automated Static Analysis of Unit Test Code.docx
• テストコードを読む練習を始めた（Java）・・・難しい

メモ†

• １週間の活動を通じて判明した自分の立ち位置
• ソフトウェアテストに関する研究は全体的に浅く研究はされている。が、深くは研究されていない。特に、面倒な作業が待っている研究については手を触れていないのが現状である。しかし、それこそが最も重要で現状の問題を根本的に解決する可能性のあるものであり、研究が行われるべき部分である。
• また、テストコードに関する研究は、従来はプロダクトコードにばかり注目が集まっていたようであるが、最近はテストコードに関する研究も増加している。「Automated Static Analysis of Unit Test Code」にもあるように、プロダクトコードが発展するにつれてテストコードも同様に発展するが、テストコードで起こるバグは解決しにくいものであり、それでいてこれに問題点があれば意味がないという、非常に複雑な立場にあるものである。学校の期末試験に問題があれば生徒の学力レベルを測ることができないのと同様に、テストコードに問題があれば製品の質は上がらない。
• 以上のことより、本研究を完成させることによりテストコードの信頼性が増し、より信頼性のある製品を作るための、品質そのものを保証することに繋がると予想される。

TODO†

• 研究の立ち位置を整理する
• JAVA勉強会しようぜ（オブジェクト指向演習の復習）
• TOEIC勉強会しましょう（院試に備えて）

4/06†

Done†

• 確率統計「入門統計学」第1章を読み終えた
• 入門統計学第1章（pdf）：データの整理と簡約化.pdf
• 「The Impact of Coverage on Bug Density in a Large Industrial Software Project」をまとめた
• (word): The Impact of Coverage on Bug Density in a Large Industrial Software Project-2.docx
• 「Automated Static Analysis of Unit Test Code」を読み始めた

4/05†

Done†

• アサーションについてまとめた
• （pdf）：期待される挙動のアサーション.pdf
• 確率統計「入門統計学」第1章を読み進めた（来週にまとめたものを発表する）

4/02†

Done†

• 「The Impact of Coverage on Bug Density in a Large Industrial Software Project」を読み進めた

Todo†

• 自分の立場を確認する（研究をするにあたって、何が研究されていて何が掘り進められていないのか）

3/28†

Done†

• 「The Impact of Coverage on Bug Density in a Large Industrial Software Project」に目を通した
• 疑問点がかなり多い。特にわからないワードが多く出てきた

Todo†

• 論文まとめに記載している疑問点について解消する

メモ†

• 検定（確率・統計）の勉強会を4年生で近々開催すべき（取り纏め：大東）

3/27†

Done†

• 春休み成果報告資料
• （pptx）：春休み成果報告_0.pptx
• （pdf）：春休み成果報告-3.pdf
• 「An Empirical Study of Bugs in Test Code 」を読んだ

Todo†

3/26†

Done†

• 「An Empirical Study of Bugs in Test Code 」導入部分を読んだ

Todo†

3/24†

Done†

• 「OSS 開発における欠陥数とカバレッジ（範囲）の関係に基づく. 継続的インテグレーションの有効性検証」を読んだ

Todo†

3/16†

Done†

• 読むべき論文を決めた

Todo†

• 読むべき論文を読む（４月上旬までに）

テンプレ†

Done†

Todo†

論文†

Comparing White-box and Black-box Test Prioritization†

• (word)：Comparing White-box and Black-box Test Prioritization_2.docx
• ブラックボックスについての研究があまりされていないことが判明した
• 回帰テストの最適化に関してホワイトボックスは２０年近く研究されている

Automated Static Analysis of Unit Test Code||SANER16†

• (word)：Automated Static Analysis of Unit Test Code-2.docx
• JfreeChartについては検証されたが、他のプロジェクトについては実験されていないため、比較実験をすると他の展望が見えてくるかもしれない。
• まとめでレビューの重要性についても述べていたので、自動静的解析とレビューを相互利用できるような手法を探すのも面白いかもしれない

The Impact of Coverage on Bug Density in a Large Industrial Software Project†

• (word): The Impact of Coverage on Bug Density in a Large Industrial Software Project-2.docx
• カバレッジとはそもそも何なのか？
• ウィルコクソンの符号順位検定とは何でどんな時に使うのか？他の検定はあるか？帰無仮説と対立仮説とは何か？
• カバレッジ率と不具合出現率にはどのような関係があるのか？

An Empirical Study of Bugs in Test Code†

• テストケースは、テストされるコードよりもエラーを含む可能性が高い
• テストバグの蔓延、影響、主要な原因カテゴリを特徴付けるテストバグに関する広範な研究
• テストコードのバグは３％のSilent horror test bugsと９７％のFalse alermsに分けられる
• 開発者はテストバグに対して積極的に貢献することが判明した

OSS 開発における欠陥数とカバレッジ（範囲）の関係に基づく. 継続的インテグレーションの有効性検証†

• （word）： File not found: "OSS開発における欠陥数とカバレッジの関係に基づく継続的インテグレーションの有効性検証.docx" at page "吉富"[添付]
• 見逃し欠陥の怖さと発見の難しさを感じた。また、プロジェクトにおけるテストカバレッジの重要性も理解できた。