木村/Archive
をテンプレートにして作成
[
トップ
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
開始行:
[[木村]]
*Index of Tables（Archive） [#m0a2c3ff]
#contents
**デバッグツールの時間短縮性の分析と評価指標の提案（ちょ...
***To Do [#pefa2b3e]
-Fault Localizationツールのサーベイ
--Javaで公開・再現可能なもの
--&color(red){ツールのピックアップを進めているが，適切な...
-デバッグツールの有効性に関連しそうなテーマをタイトルから...
--How helpful are automated debugging tools? [&attachref(...
--An empirical study about the effectiveness of debugging...
--Using automated program repair for evaluating the effec...
--Does automated white-box test generation really help so...
***Done [#yf0e025f]
-ISSTA'11 に似たような研究論文を発見した
--調査の動機がほぼ同じ（デバックツールが実際にどのくらい...
--明らかにしたいこと・貢献部分が自分のやりたいことと違う...
参考程度には使えるかも
-同じ研究をしている論文がないか調査
--もしあれば，テーマを変える，もしくは違う観点で調査がで...
→ なさそうなので，研究の新奇性はあるはず
-引用できそうな論文
--''Evaluating the usefulness of IR-based fault localizat...
---Fault Localizationという技術は評価されにくい
---ユーザスタディがほとんどされていない
---ユーザスタディの環境設定の面で参考にできるかも
--''Practitioners' expectations on automated fault locali...
---実務者がFault Localizationに求めていること
---デバッグデータの可用性・スケーラビリティ・効率性など
~~
**福井さんのお手伝い [#q97eacce]
***Memo [#oca0040e]
-PMFを用いる理由
--モデルをトレーニングさせた期間以降で新規タグが出現した...
--新規タグが出現した場合の推定には，新規タグと新規タグと...
***To Do [#x284d44c]
-%%ユーザの回答よりタグのスコアの重複具合を調査%%
-%%質問タグの一番左にあるタグ（質問のメインターゲットと仮...
-タグの抽象度を上げてカテゴリを作り，カテゴリごとでPMFを...
--ネットワーク分析を用いてコミュニティ検出を行い，コミュ...
--%%networkxにfind_clique()というコミュニティ検出メソッド...
-上記で抽出したクラスタごとにPMFを使った場合とクラスタ分...
--知識の影響は隣接距離が１と仮定
--クラスタの中心は質問タグの一番タグ（最左タグ）で分類
***Done [#sc4eb4ae]
-重複スコアのデータ分析を実施
-重複スコアの考慮の仕方として，回答のスコアを質問に付随し...
-上記で示した方法でタグごとに加算したスコアを平均し，平均...
-軽くタグごとに平均スコアのランキングを目視したが，重複ス...
~~
**sotorrentの構築 [#o9b2b2e6]
-接続のコンフィグは[[木村/Memo]]のPythonからMySQLへのアク...
-Docker-MySQL 全テーブルのインポート完了 5/7 お疲れ様で...
-Docker-MySQL インデックス貼り付け 4/25[開始] 4/27[完了]
-Docker-MySQL メインテーブルのインポート 4/19[開始] 4/2...
--&color(red){大量のフラグメンテーションが見られる};
--&color(red){前回のデータを大量削除したため};
-sshtunnelを用いたpythonでのMySQL接続に問題あり 4/19
--不具合の原因不明(サーバのファイアーウォールが原因？？)
-%%サーバMySQLへのインポート完了 4/18[確認]%%
-%%サーバのMySQLにインポート 順調 4/16[確認]%%
-%%Votesテーブルのインポートのみ 4/11[中断]%%
-%%メインテーブルのインポート 4/9[確認]%%
*デバッグツールの時間短縮性の分析と評価指標の提案 [#o1e9c...
-人間と分類器の分析比較
--ツールが作業に与える時間短縮性はどの程度？~
~
#contents
**Background [#xc16f6d7]
-ソフトウェア開発において重要なプロセスのうちの一つがデバ...
-デバッグは難しい上に時間もかなりかかる
-これまでデバッグの負担を軽減させるための技術・ツールはか...
-しかし，これまでの研究はツールの性能を考慮したものしかな...
-ただ，ユーザスタディを行うために環境を用意することは大変...
**Goal・Contribution [#vaed15e1]
-Bug Localizationの性能（メトリクス）と作業時間の関係を明...
--ツールのユーザスタディを行わずに作業への影響度を示すこ...
**Approach [#zd820e3c]
-考えていること１
--エキスパートに協力してもらう
---メールでのアンケート調査？
--Bug Localizationが検出するバグの重要度を測る
---もしBug Localizationが重要度の高いバグを検出できていれ...
---そうでないなら，現場での使い所について考える必要がある
--Bug Localizationが検出するバグと人間が検出するバグの違...
---違いがなければ，ツールの保証ができる？（人間以上に検出...
---そうでないなら，現場での使い所について考える必要がある
~
-考えていること２
--エキスパートに協力してもらう
--Bug LocalizationのFalse Negative（見逃しバグ）の影響度
--Recallが高いBug LocalizationとPrecisionが高いBug Locali...
--Bug Reportから実際の修正期間が得られるはず
--3つを比較し分析
~
-考えていること３
--エキスパートに協力してもらう
--Bug Localizationのモデルコンセプトで種類分け
--種類別に作業効率の差異を分析
**Experiment [#ga36ca2a]
-知りたいこと
--MRRやMAPといったデバッグツールの性能指標と時間短縮性に...
--開発者のプログラミング従事年数と時間短縮性に相関がある...
--プログラムのスケールと時間短縮性に相関はあるか？
--見逃しバグの影響度と時間短縮性に相関があるか？
---Bug Localizationが影響度の高いバグを特定できている場合...
---設計のコンセプトが違うと特定するバグの種類に違いが出る...
---違いがあればBug Localizationの設計の改善が必要になる
--プログラミング言語によって時間短縮性に違いはあるか？
--ツールの使いやすさ（アンケート）と時間短縮性に相関はあ...
---コンセプトごとで使いやすさにどの程度違いがあるか？
---最も良いコンセプトがわかるのでは？
**To do [#j38ca88b]
-類似テーマの論文サーベイ
--デバッグツールの有効性に関係しそうなタイトルから抽出
--How helpful are automated debugging tools?
--An empirical study about the effectiveness of debugging...
--Evaluating the usefulness of IR-based fault localizatio...
--Using automated program repair for evaluating the effec...
--Practitioners' expectations on automated fault localiza...
--Does automated white-box test generation really help so...
-Bug Localization関連論文のサーベイ~
（とりあえずICSEから拾ってみる）
--データセット，スクリプトがGithubで公開されているものが...
''[調査観点]''
--&color(red){検出したバグの重要度について議論しているの...
--&color(red){ユーザスタディを行なっている場合，どのよう...
--&color(red){モデル構築のコンセプトは，一体どのようなこ...
--&color(red){Precision・Recall，どちらが重視されているか...
**Done [#z5c0858c]
-類似テーマが存在するのかサーベイを実施
--ISSTA'11 に似たような研究論文を発見した
--[&attachref(parnin.orso.ISSTA11.pdf);]~
''[要約]''
---Eclipseのプラグインを用いて，Georgia Institute of Tech...
---使用したデバッグツールはTarantulaというアートデバッグ...
---Tarantulaを選んだ理由として，しっかりとした実証的評価...
---エキスパートであったり，簡単なコードだと早く終わるが，...
---より開発者が使いやすいように人間の側面を考慮した研究を...
--似たような観点で調査はしていたが，自分の考えていること...
-言語ごとにツールが分かれていることがわかった
--開発においてメジャーなJavaのBug Localizationに絞って調...
-Fault Localizationのコンセプト種別
--Slice-Based（20%）
--Program Spectrum-Based（35%）
--Statistics-Based（7%）
--Program State-Based（7%）
--MachineLearning-Based（2%）
--Data Mining-Based（19%）
--Model-Based（1%）
--その他（9%）
-Fault Localization（Java）
--Openly accessible
---On the accuracy of spectrum-based fault localization [...
---Check ’n’ Crash: Combining Static Checking and Testing...
---（C/Java）Finding latent code errors via machine learn...
--Via author
---Velodrome: A Sound and complete dynamic atomicity chec...
**memo [#z9b1b459]
-再現可能なツール・技術のピックアップ
-とりあえずBug Localization関連の論文サーベイ
-必要なデータセットが収集可能か？
-427はやりすぎ
-言語ごとにツールが存在する
-ツール作成のベース概念が複数存在する
-ユーザスタディの実験環境や対象のデータセットについて考える
--デバッグを行うプログラムの規模，また埋め込むバグの影響度
--対象のエキスパート人数
-Spectrum-Based：ソースコードとテストスイートの組み合わせ...
~
-伊原先生からの提案
--バグの検出と人員の関係からベストな開発体制を提案するモ...
---（問題点）エキスパートのグループをどのようにして構成す...
--プログラムの規模，複雑度
--粒度を小さくするとバグ検出性能が向上する
--http://chakkrit.com/assets/papers/tantithamthavorn2014a...
--http://chakkrit.com/assets/papers/tantithamthavorn2018b...
**reference [#aabff03a]
-[1]A Survey on Software Fault Localization 引用数：427 ...
-[2]Practitioners' expectations on automated fault locali...
--実務者がFault Localizationに求めていること（可用性・粒...
→ 実務者が求めていることの1つに効率がある．今回は効率と...
-[3]Making numerical program analysis fast [&attachref();]
-[4]Evaluating the usefulness of IR-based fault localizat...
--現状，Fault Localizationのユーザスタディはほとんど行わ...
--ユーザスタディの実験環境の設定は参考にできるかも
終了行:
[[木村]]
*Index of Tables（Archive） [#m0a2c3ff]
#contents
**デバッグツールの時間短縮性の分析と評価指標の提案（ちょ...
***To Do [#pefa2b3e]
-Fault Localizationツールのサーベイ
--Javaで公開・再現可能なもの
--&color(red){ツールのピックアップを進めているが，適切な...
-デバッグツールの有効性に関連しそうなテーマをタイトルから...
--How helpful are automated debugging tools? [&attachref(...
--An empirical study about the effectiveness of debugging...
--Using automated program repair for evaluating the effec...
--Does automated white-box test generation really help so...
***Done [#yf0e025f]
-ISSTA'11 に似たような研究論文を発見した
--調査の動機がほぼ同じ（デバックツールが実際にどのくらい...
--明らかにしたいこと・貢献部分が自分のやりたいことと違う...
参考程度には使えるかも
-同じ研究をしている論文がないか調査
--もしあれば，テーマを変える，もしくは違う観点で調査がで...
→ なさそうなので，研究の新奇性はあるはず
-引用できそうな論文
--''Evaluating the usefulness of IR-based fault localizat...
---Fault Localizationという技術は評価されにくい
---ユーザスタディがほとんどされていない
---ユーザスタディの環境設定の面で参考にできるかも
--''Practitioners' expectations on automated fault locali...
---実務者がFault Localizationに求めていること
---デバッグデータの可用性・スケーラビリティ・効率性など
~~
**福井さんのお手伝い [#q97eacce]
***Memo [#oca0040e]
-PMFを用いる理由
--モデルをトレーニングさせた期間以降で新規タグが出現した...
--新規タグが出現した場合の推定には，新規タグと新規タグと...
***To Do [#x284d44c]
-%%ユーザの回答よりタグのスコアの重複具合を調査%%
-%%質問タグの一番左にあるタグ（質問のメインターゲットと仮...
-タグの抽象度を上げてカテゴリを作り，カテゴリごとでPMFを...
--ネットワーク分析を用いてコミュニティ検出を行い，コミュ...
--%%networkxにfind_clique()というコミュニティ検出メソッド...
-上記で抽出したクラスタごとにPMFを使った場合とクラスタ分...
--知識の影響は隣接距離が１と仮定
--クラスタの中心は質問タグの一番タグ（最左タグ）で分類
***Done [#sc4eb4ae]
-重複スコアのデータ分析を実施
-重複スコアの考慮の仕方として，回答のスコアを質問に付随し...
-上記で示した方法でタグごとに加算したスコアを平均し，平均...
-軽くタグごとに平均スコアのランキングを目視したが，重複ス...
~~
**sotorrentの構築 [#o9b2b2e6]
-接続のコンフィグは[[木村/Memo]]のPythonからMySQLへのアク...
-Docker-MySQL 全テーブルのインポート完了 5/7 お疲れ様で...
-Docker-MySQL インデックス貼り付け 4/25[開始] 4/27[完了]
-Docker-MySQL メインテーブルのインポート 4/19[開始] 4/2...
--&color(red){大量のフラグメンテーションが見られる};
--&color(red){前回のデータを大量削除したため};
-sshtunnelを用いたpythonでのMySQL接続に問題あり 4/19
--不具合の原因不明(サーバのファイアーウォールが原因？？)
-%%サーバMySQLへのインポート完了 4/18[確認]%%
-%%サーバのMySQLにインポート 順調 4/16[確認]%%
-%%Votesテーブルのインポートのみ 4/11[中断]%%
-%%メインテーブルのインポート 4/9[確認]%%
*デバッグツールの時間短縮性の分析と評価指標の提案 [#o1e9c...
-人間と分類器の分析比較
--ツールが作業に与える時間短縮性はどの程度？~
~
#contents
**Background [#xc16f6d7]
-ソフトウェア開発において重要なプロセスのうちの一つがデバ...
-デバッグは難しい上に時間もかなりかかる
-これまでデバッグの負担を軽減させるための技術・ツールはか...
-しかし，これまでの研究はツールの性能を考慮したものしかな...
-ただ，ユーザスタディを行うために環境を用意することは大変...
**Goal・Contribution [#vaed15e1]
-Bug Localizationの性能（メトリクス）と作業時間の関係を明...
--ツールのユーザスタディを行わずに作業への影響度を示すこ...
**Approach [#zd820e3c]
-考えていること１
--エキスパートに協力してもらう
---メールでのアンケート調査？
--Bug Localizationが検出するバグの重要度を測る
---もしBug Localizationが重要度の高いバグを検出できていれ...
---そうでないなら，現場での使い所について考える必要がある
--Bug Localizationが検出するバグと人間が検出するバグの違...
---違いがなければ，ツールの保証ができる？（人間以上に検出...
---そうでないなら，現場での使い所について考える必要がある
~
-考えていること２
--エキスパートに協力してもらう
--Bug LocalizationのFalse Negative（見逃しバグ）の影響度
--Recallが高いBug LocalizationとPrecisionが高いBug Locali...
--Bug Reportから実際の修正期間が得られるはず
--3つを比較し分析
~
-考えていること３
--エキスパートに協力してもらう
--Bug Localizationのモデルコンセプトで種類分け
--種類別に作業効率の差異を分析
**Experiment [#ga36ca2a]
-知りたいこと
--MRRやMAPといったデバッグツールの性能指標と時間短縮性に...
--開発者のプログラミング従事年数と時間短縮性に相関がある...
--プログラムのスケールと時間短縮性に相関はあるか？
--見逃しバグの影響度と時間短縮性に相関があるか？
---Bug Localizationが影響度の高いバグを特定できている場合...
---設計のコンセプトが違うと特定するバグの種類に違いが出る...
---違いがあればBug Localizationの設計の改善が必要になる
--プログラミング言語によって時間短縮性に違いはあるか？
--ツールの使いやすさ（アンケート）と時間短縮性に相関はあ...
---コンセプトごとで使いやすさにどの程度違いがあるか？
---最も良いコンセプトがわかるのでは？
**To do [#j38ca88b]
-類似テーマの論文サーベイ
--デバッグツールの有効性に関係しそうなタイトルから抽出
--How helpful are automated debugging tools?
--An empirical study about the effectiveness of debugging...
--Evaluating the usefulness of IR-based fault localizatio...
--Using automated program repair for evaluating the effec...
--Practitioners' expectations on automated fault localiza...
--Does automated white-box test generation really help so...
-Bug Localization関連論文のサーベイ~
（とりあえずICSEから拾ってみる）
--データセット，スクリプトがGithubで公開されているものが...
''[調査観点]''
--&color(red){検出したバグの重要度について議論しているの...
--&color(red){ユーザスタディを行なっている場合，どのよう...
--&color(red){モデル構築のコンセプトは，一体どのようなこ...
--&color(red){Precision・Recall，どちらが重視されているか...
**Done [#z5c0858c]
-類似テーマが存在するのかサーベイを実施
--ISSTA'11 に似たような研究論文を発見した
--[&attachref(parnin.orso.ISSTA11.pdf);]~
''[要約]''
---Eclipseのプラグインを用いて，Georgia Institute of Tech...
---使用したデバッグツールはTarantulaというアートデバッグ...
---Tarantulaを選んだ理由として，しっかりとした実証的評価...
---エキスパートであったり，簡単なコードだと早く終わるが，...
---より開発者が使いやすいように人間の側面を考慮した研究を...
--似たような観点で調査はしていたが，自分の考えていること...
-言語ごとにツールが分かれていることがわかった
--開発においてメジャーなJavaのBug Localizationに絞って調...
-Fault Localizationのコンセプト種別
--Slice-Based（20%）
--Program Spectrum-Based（35%）
--Statistics-Based（7%）
--Program State-Based（7%）
--MachineLearning-Based（2%）
--Data Mining-Based（19%）
--Model-Based（1%）
--その他（9%）
-Fault Localization（Java）
--Openly accessible
---On the accuracy of spectrum-based fault localization [...
---Check ’n’ Crash: Combining Static Checking and Testing...
---（C/Java）Finding latent code errors via machine learn...
--Via author
---Velodrome: A Sound and complete dynamic atomicity chec...
**memo [#z9b1b459]
-再現可能なツール・技術のピックアップ
-とりあえずBug Localization関連の論文サーベイ
-必要なデータセットが収集可能か？
-427はやりすぎ
-言語ごとにツールが存在する
-ツール作成のベース概念が複数存在する
-ユーザスタディの実験環境や対象のデータセットについて考える
--デバッグを行うプログラムの規模，また埋め込むバグの影響度
--対象のエキスパート人数
-Spectrum-Based：ソースコードとテストスイートの組み合わせ...
~
-伊原先生からの提案
--バグの検出と人員の関係からベストな開発体制を提案するモ...
---（問題点）エキスパートのグループをどのようにして構成す...
--プログラムの規模，複雑度
--粒度を小さくするとバグ検出性能が向上する
--http://chakkrit.com/assets/papers/tantithamthavorn2014a...
--http://chakkrit.com/assets/papers/tantithamthavorn2018b...
**reference [#aabff03a]
-[1]A Survey on Software Fault Localization 引用数：427 ...
-[2]Practitioners' expectations on automated fault locali...
--実務者がFault Localizationに求めていること（可用性・粒...
→ 実務者が求めていることの1つに効率がある．今回は効率と...
-[3]Making numerical program analysis fast [&attachref();]
-[4]Evaluating the usefulness of IR-based fault localizat...
--現状，Fault Localizationのユーザスタディはほとんど行わ...
--ユーザスタディの実験環境の設定は参考にできるかも
ページ名:
![[PukiWiki]](image/wadanyan.png "[PukiWiki]")
