![[PukiWiki]](image/wadanyan.png "[PukiWiki]")
#author("2019-11-21T01:23:55+09:00","","") #author("2019-11-26T17:21:08+09:00","","") [[木村/Research Subject]] *自動分類手法におけるデータセット作成時のミスラベルの調査：非機能要求を例として [#m9e57d35] ~ #contents **Approach [#k83d3d85] -被験者実験 -分類対象は，ランダムに抽出した要件を集めた一文のみのデータと周辺情報そのままに要件をランダムにセレクトした文脈あり -２つのグループを作り，２パターンの実験を行う --一文のみ→文脈あり，文脈あり→一文のみ --カウンターバランスを考慮 -一文のみ，文脈ありのそれぞれのラベル付けに違いがあるかを調査 ||Aグループ|Bグループ| |一文のみ|１|２| |文脈あり|２|１| -対象の要件はセキュリティとその他，各10件ずつ -被験者には８つの品質特性に則ってラベル付け **メモ [#q3f36b24] -要求分析という言葉を用いるため，要件から要求の言葉に変更し，表記を統一 -ラベル付けで表記を統一 -イラストを用いて従来手法の説明と疑問点の明記 -一文のみ，文脈ありのデータセット例を載せる -要求の例（投句性ごとに何文か）を載せる -セキュリティに着目する理由は，システムの品質にクリティカルな特性 *卒業論文執筆メモ [#qcd97248] **Chapter1：Introduction [#q7aebf1d] ***Background [#xdb79ce7] -要件の見落としは手戻りやシステムの故障を引き起こす可能性がある -機能要件に比べ，非機能要件はさらに見落としやすい -非機能要件の見落としを減らすために従来研究では自動分類手法を提案 -ただし，従来研究のデータは要件定義書から一文ずつラベルを判断，もしくは非機能要件のみが集められたデータセットを使用 -一文のみで判断できないが，文脈を通じて非機能要件と判断できるものが存在するのでは？ --従来研究のラベル付け作業における非機能要件の網羅性への疑問 -一文のみと文脈ありでラベルがどのように変化するのか調査 ***Goal・Contribution [#pc4636a9] -非機能要件の自動分類手法のデータセットの妥当性の検証 -一文のみと文脈ありで違いが見られた場合，手法の見直しが必要になるのでは？ -できれば，文脈を通じてラベル付けしたデータを既存の手法に適応し，どのくらいの分類精度か検証したい **Chapter2：Non-functional Requirement and Prior Research [#b6cc3907] -２章は本研究の位置付け -先行研究が行ったこととその研究では行われなかったことの明記 ***Non-functional Requirement [#jfa7e610] -要件定義書では，機能要件と非機能要件が存在 -機能要件はシステムに要求される機能 -非機能要件はシステムの品質（セキュリティ，信頼性，使いやすさなど）に対する要求事項 - -品質特性を定義した規格は多岐にわたるが，本研究で用いる品質特性はISO25010の規格に則ったもの --ISO25010（https://iso25000.com/index.php/en/iso-25000-standards/iso-25010） -ISO25010は機能適合性，性能効率性，互換性，使用性，信頼性，セキュリティ，保守性，移植性の8つの品質特性から構成されている - ***Prior Study [#q7b87025] -従来の手法は教師ありアルゴリズム（NaiveBayse・SVMなど）を使用 -学習に用いるデータセットに関して， --要求仕様書から要求を一文ずつ抽出しラベル付け --重要視されやすい特性をピックアップしている研究では，関係する特性のみを集めたデータセットを利用 -(従来のプロセスの図を載せる) -一文ずつ抽出しラベル付けを行っているが，それは正しいプロセスであるのか？ -一文のみでラベル付けを行った場合と文脈を考慮しながらラベル付けを行った場合とどのような違いがあるのか？ ***Research Questions [#i06e505f] -一文のみで判断しラベル付けしたデータと文脈を通じて判断しラベル付けしたデータの違いを調査し，文脈を考慮したとき，どのくらいラベル付けに影響があるか？ **Chapter3：Experiment [#me0ff16c] //***Classification Technique（今回はなし） [#m8728a6b] //-テキストのクリーニング-ストップワードの除去-単語の正規化-形態素解析-単語の分散表現-分類器は，ランダムフォレスト，ナイーブベイズ，SVM，SMOなど ***Dataset [#l736a493] -オンライン上で公開されている官公庁の提案依頼書（RFP：Request For Proposal） -内訳を表にて記載 ***Approach [#k24b6aff] -被験者実験（conduct user study） -実験の環境概要 --分類対象のデータ規模（100〜200件ぐらいの規模） --人数（20人くらい） -学習効果のカウンターバランスを取るために，２通りで実験 --&color(blue){一文のみ}; → &color(red){文脈あり}; --&color(red){文脈あり}; → &color(blue){一文のみ}; -ラベリング結果を統計的検定を用いて有意差があるかどうかを調べる． -効果量測定を行うかは検討する **Chapter4：Result [#b31bc765] **Chapter5：Discussion [#p9f91fe6] ***Threats To Validity [#b6908ebb] **Chapter6：Related Work [#d46c2415] **Chapter7：Conclusion（and Future work） [#q1d7db8c] **Reference [#z143f9d3] -[1]Brooks Jr., F.P., “No Silver Bullet: Essences and Accidents of Software Engineering,” IEEE Computer., 4, (Apr. 1987), 10-19. --非機能要件をきちんと管理できていないとシステムの品質に影響を及ぼし，システム障害を引き起こす可能性がある
