木村/Research Subject
人と非機能要件に関する分類器の比較分析†
- 日本語の非機能要件分類ツールがどれほど作業を効率よくするのか？
Background†
- 非機能要件の分類器の性能を評価することはできるが，実際の作業において分類器がどのくらい役に立つのかは明らかでない
Goal・Contribution†
- 分類器と人の能力の違いを明らかにし，分類器の設計の改善を図る？
Approach†
- ユーザスタディの実施
- 最低でも10人は必要
- 非機能要件分類チュートリアルを実施
- 実際に用意した要件をラベリングしてもらう
- （ツールができれば）
- ツール有無で時間を測定
- 数をこなすと時間が短縮する可能性を考慮して交差実験をする
Experiment†
- 知りたいこと
- 分類器で分類したものと人の手作業で分類されたものの違いはあるか？
- 品質特性ごとにラベリングされたもののバラツキはどのようなものか？
- バラツキが多い品質特性は曖昧度が高い
- 学習させる際に考慮すべき事柄が見つかるかも？
- （分類器をツール化した場合の予定）
- ツールの有無で時間はどのくらい違うのか？
- 要件ごとに時間の短縮度合いに違いはあるか？（一度に分類するため測定するのは難しいかも）
- 手動で分類した時とツールを使って分類した時で要件の分類のばらつきはどうか？
- ツールを使用した時にばらつきが少なければ，非機能要件の分類
To Do†
- どの時点の分類器と比較するのかを決める
- 未来と一緒に分類器の性能向上を目指す
- 実験環境の設定を定める
Done†
Memo†
- 秋頃を過ぎると被験者の方々も忙しくなるので，ユーザスタディは夏までに実施しデータを獲得する
Reference†
[1]Are Automated Debugging Techniques Actually Helping Programmers? [
parnin.orso.ISSTA11.pdf]
![[PukiWiki]](image/wadanyan.png "[PukiWiki]")
