![[PukiWiki]](image/wadanyan.png "[PukiWiki]")
受付番号：13-SE041
メタ査読者 著者への採録に際してのコメント(論文をより良くするための参考意見です) 第1査読者から、設定された研究課題の適切性に関わる疑問が投げかけられています（第1査読者の第1段落、第2段落）。また、複雑度に関する考察の不十分さが指摘されています（第1査読者の第4段落）。しかし、これらは参考意見であり、最終稿を作成するにあたって対応する必要はありません。今後、更なるご研究をされるときなどに参考にしていただければ幸いです。
なお、論文の本筋を変えることのない範囲での修正は、ぜひご検討ください。第2査読者の指摘は、いずれもその範囲に入ります。第1査読者の第3段落の指摘もその範囲と考えます。その他、Description が Discription となっている箇所は修正をお願いいたします。
第1査読者 著者への採録に際してのコメント(論文をより良くするための参考意見です) 興味深い論文に仕上がっていると思います。ただし、論文を通して読んだ際に、論文冒頭(P2)で提示された研究目的である、①予測精度の向上に不具合割り当てパターンがどこまで有効であったか、そして、②それを組込みこんだ予測モデル（数理モデル）が有意であるか という点について、納得性の点で多少の疑問が残りました。これはひとえに、予測対象の分布（図6）で、1日以内に修正される不具合が半分弱ある中で、提案法が有効であると主張されている短期期間での予測精度が50%前後という数字にあるのだと考えます。要は、このような分布を持つ場合、どのような不具合でも「1日以内に修正可能」と言っておけば2つに1つは当たっているという状況に近いのかもしれません。
分析の過程を考えると、1週間後までの修正には１日以内の修正も含まれていますし、同様に、1か月後までの修正には、1日以内、1週間以内が含まれていると理解しました。上記の疑問をクリアするためには、「1日では修正できなかったが1週間以内に修正できた不具合」「1週間以内では修正できなかったが1か月以内に修正できた不具合」を切り出して、提案法で正しく予測できるかを分析したほうがよいと思います。
さらに、本論文のポイントとなっている不具合割り当てパターンについては4種類があり、パターンによって修正時間が異なってくるとの記述がありましたが、Ｐ１８ではこのパターンの違いなども含めて考察しています。本来であれば、分析の時点で、個々の不具合を各パターンに層別して分析する、あるいは最低限でも分析対象に各パターンがどの程度含まれているか割合などの情報は載せておいたほうがよいかと思います。
1回目の査読の条件1-4について、不具合の難度などの情報を示していただくように指摘しました。修正後の記述で、Componentsの複雑度については多少言及されていますが、十分ではないように思います。「1日以内の修正不具合」「1週間以内」「1か月以内」それぞれのカテゴりについて、不具合の難易度や対象の複雑度などがどのようであったかも含めて示し考察していただいたほうがよいかと思います。
第2査読者 著者への採録に際してのコメント(論文をより良くするための参考意見です) 第1回査読での指摘事項に対する改訂が施されていることは確認しました．
以降はコメントです．
・表10について (1) 太字が何を示すのかを説明して下さい． (2) 向上率をどのように求めているのかを説明して下さい．もしくは，機械学習を用いない方法で得られた適合率などの生の値を掲載して下さい．例えば，機械学習を用いない方法で再現率が50％，ランダムフォレストで70%だった場合．差分(70-50)は20%ですが，もし向上率を100-70/50*100 = 40%と計算すると，値が大きく見えます．査読者のように邪推する人がいないとも限りませんので，向上率の定義は必ず書いて下さい．
・4.4.1の説明について せっかくデータセットを10個の分割(data_1 ... data_10)に定義しているのに，以降の説明ではそれが利用されていません．丁寧に書くのであれば，Step3において，「data_1をtestとし，残りをfit_1...fit_9とする」と記述し，Step 6では「1個，例えばdata_2をtestとし，残りの9個(data_1, data_3, ... data_{10})をフィットデータとする．」のような書き方にすべきでしょう．
誤字: p.11 Step3. data_10 → data_{10} 誤記: p.19 6.3冒頭: 「予測期間それぞれ観点から」→ 「それぞれの予測期間の観点から」？
第1回査読結果
メタ査読者 採録の条件(論文として採録の可能性がありますが、 このままでは採録できません。採録の条件は以下のとおりです) 査読者1と査読者2の条件・疑問を解消する記述が必要です。 著者への採録に際してのコメント(採録の条件ではありませんが、 論文をより良くするための参考意見です) 特に、査読者1の条件1と3、査読者2の条件1について、明確な回答が必要です。
第1査読者 採録の条件(論文として採録の可能性がありますが、 このままでは採録できません。採録の条件は以下のとおりです) 不具合割り当てパターンというユニークな視点を不具合修正時間予測に取り込んだ点は非常に面白いアプローチだと考えます。しかしながら、以下の点について、難解な部分や修正が望ましい部分があります。
１．P12 [5.1.2] 日数予測については、提案のメトリクス群を織り込んだ予測モデルによって得られる予測精度が低く、予測モデルとして機能しえないことを著者は認めています。にもかかわらず不具合割り当てパターンの寄与率が高く、このモデルにおいて重要な変数であると主張することは無理があると考えます。。
２．P11 [4.4.2] 実験方法の記述が不十分です 期間指定予測に関しては、提案方法による予測とそうではない一般的な「ランダムによる予測」を行い、その２つに関しての予測精度を実験結果で言及していますが、実験方法として明確に記載されてないため、非常に分かりずらくなっています。
３． P.14 [5.2.1] 上記に関して、一般的な「ランダムによる予測」は、そもそもそれほどの制度が得られないものと考えられ、それとの比較で予測精度が向上していると主張するのはやや無理があると思います。 また、提案法で１日への予測では再現率45%,54%, F1値 53,60 はそれほど高い値とは考えられません。再現率50％前後ということは、要は半分くらいしか予測できませんでしたということではないでしょうか。
４．P11 [4.4] 結論として、短期間の予測については提案法が有効との結論が導かれていますが、実験で分析対象とした不具合について、全体のどれくらいの割合が１日以内で修正されているか、１週間以内で修正されているかといった情報や、それぞれの不具合の難度などがどのような分布になっていたのか、あるいはここで提案している不具合割り当てパターンの分布がどのようになっていたのかなどの基本的な分析データのプロフィール情報が示され ないまま、統計分析結果だけが紹介されているため、結果の妥当性の判断が難しくなっています。 実験手順の中で、用いたデータセットのプロフィールを明示するとともに、そのプロフィールを念頭に、得られた予測精度について論じていただければと考えます。
５．P.14 [5.2.1] 「予測期間を１日とした予測では、適合率が大幅に向上しており----」となっていますが、この段落では、「何と比較して向上したのか」が文章としてわかりにくい表現になっています。文章表現を見直してください。 また、この段落で言っている予測精度とは表１０のF1値と理解しましたが、文章中と表や前後の章との整合性を持った表現にしてください） 著者への採録に際してのコメント(採録の条件ではありませんが、 論文をより良くするための参考意見です) なし
第2査読者 採録の条件(論文として採録の可能性がありますが、 このままでは採録できません。採録の条件は以下のとおりです) 条件1: p.6, 16行目にて，「本研究は…，予測精度の向上を期待できる」とありますが，何をもって予測精度の向上とするのかがこの時点では不明です．また，どうして，予測精度の向上が見込めるのかが論理的に不明です．この点を詳述して下さい．
条件2: 3.3節において，不具合修正時間予測のためのモデルがいくつか紹介されていますが，最終的に実験で説明があるのはランダムフォレストのみです．実験の結果について述べないモデルについて紙面を割く必要があるとは思えませんので削除して下さい．削除する際には，予備実験によりもっとも精度が高かったランダムフォレスト法を採用した旨を記述した方がよいと思われます．（もしくは，実験の節で複数モデルに対して実験を行った意義とその比較について論述して下さい．）
条件3: 5.2.1節における「ランダムによる予測」の説明に不明な点があります．「実際に1日以内に修正される不具合はその中の約41%である」とした根拠は何でしょうか？このようにする理由を述べて下さい．
条件4: 実験においてランダムによる予測を比較対象とした理由について述べて下さい．例えば，不具合修正パターンを抜いたモデルとの比較ではダメなのでしょうか？
条件5: 4.4.1節 語句の修正「交差検定」→「交差検証」
条件6: 4.4.1節の交差検証の説明ですが，ステップ3から5を10回繰り返し，とするのでは交差検証の説明になっていないように思われます．データをdata1~data10に分割し，それぞれの分割を順にtestとして，残りをfitとする，とした説明にすべきでしょう．
条件7: 表4，表5に記載されている尺度「間隔」は正しくありません．「比尺度」または「絶対尺度」に相当します．
著者への採録に際してのコメント(採録の条件ではありませんが、 論文をより良くするための参考意見です) ・式(5)において，「F1-measure」がLaTeXの数式により「F1 −（マイナス） measure」になっています．正しく記述して下さい．
