福井/査読結果/SS2018
の編集
https://floss-lab.org/pukiwiki/?%E7%A6%8F%E4%BA%95/%E6%9F%BB%E8%AA%AD%E7%B5%90%E6%9E%9C/SS2018
[
トップ
] [
編集
|
差分
|
履歴
|
添付
|
リロード
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
-- 雛形とするページ --
(no template pages)
[[福井/査読結果]] *SS2018 [#gb71547c] -査読エクセル：&attachref(ss2018_review.xlsx); **査読コメント1 [#e7ab11bf] ***全文 [#r7bb3935] 「適切な人材配置」という、システム開発上の最重要課題について、客観的・定量的な手法を具体的なデータとともに提案されている点、興味深く、今後の展開が期待される内容だと感じられました．査読者としては、潜在的ディリクレ配分法について詳しくはありませんでしたが、その特徴、研究目的との整合性がよくわかる内容でした。ただ、材料として著名なオープンソース・プロジェクトが利用されており、以下の点で、日本でのシステム開発の現場（以後、単純に「現場」と記載します）とは差異があると考えられます。 -オープンソースプロジェクトの性格上、メールによるコミュニケーションが中心となるが、「現場」では、会議・会話の比率が高く、深い議論はメールに残りにくいのではないか。 -メンバーのスキルレベル・文章表現力が平均的に高く、メール上に特徴が表れやすい。 「現場」への応用にあたり、このあたりがどう影響しそうかの考察があれば良いと感じました。（研究論文との位置付けからすると、まずは手法自体の評価がテーマであるとは思いますが）あと、潜在的ディリクレ配分法に関する日本語の解説文献が参考文献として参照されて入れば、読者としては便利かと思います。 ***要約 [#ybcb2ae4] -LDAの日本語解説論文が参考文献にあればわかりやすい -オープンソースとシステム開発現場では差がある --オープンソースはメール中心・現場は実際の会議・会話中心 -現場への応用にあたり，上記がどう影響するか？考察がほしい -手法の評価が今後のテーマになりそう ***対応 [#e223c5d0] -制約にオープンソースと企業の開発現場の違いを書く．手法の目的と実験の目的の違い -日本語の参考文献の追加 **査読コメント2 [#vc92f1f1] ***全文 [#if17353d] 今後、システムの大規模・複雑化がさらに進むことを考えると、プロジェクトが期待する適切な能力を保有した開発者を特定できる手法は開発チームを迅速に立ち上げる際に重要な研究テーマになると考えます。 今回の提案はメーリングリストの用語を手掛かりに該当者を探索する手法が提案されていましたが、その他にも有用な情報は組織内に存在しているように思います。 今回の提案とそれらの情報を組み合わせることで、提案手法がより適切な探索を実行できる手法に発展していくことを期待しております。 ***要約 [#b0731da0] -メーリングリスト以外にも組織内に有効な情報がありそう，今後組み合わせた手法に期待． -プロジェクトが期待する適切な能力を持った開発者を特定する手法は，開発チームを迅速に立ち上げるための重要な研究テーマになりそう ***対応 [#jcac1d39] -有効な情報の利用については，論文のまとめで今後の展望的な感じで少し触れてみる？ **査読コメント3 [#p03cd928] ***全文 [#c0cdb2a6] 本論文は，ソフトウェア開発者間でやり取りされるメール（メーリングリストのメール）の本文を利用して開発者の専門性を特定し，専門性を表す検索語で開発者を検索できる仕組みを作ろうとしている論文である．潜在的ディリクレ配分法（LDA）を適用することで各メールが扱っているトピックを推定し，検索語-トピック-メールの三者の関係を求めている．評価実験として，Apacheの4つのサブプロジェクトを対象とし，各プロジェクトに関連する検索語からそのプロジェクトの開発者をどの程度高順位で検索できるか調べている．提案手法はトピックモデリングの基本を押さえた自然なもので，（確信はありませんが）有用性もありそうに思います．ただ，評価実験で使われている検索語が，開発者を検索する語として実際に選ばれるだろうかというところに少し疑問を感じました．つまり，単語出現頻度×逆文書頻度（TF-IDF）と文書頻度（DF）の高い10単語を各プロジェクトからピックアップして，それを検索語とみなして実験されていますが，これらの語が1章で述べられているような上流工程（要件定義，基本・詳細設計）にたずさわる開発者を検索する場合に使われそうかという疑問です．難しいとは思いますが，上流工程開発者の検索を想定した検索語での評価があると有用性をより強く主張できるのではないかと感じました． 以降は読者が論文を理解しやすくなると思った箇所についての細かなコメントです -図1と3の文字が小さすぎるので大きくしてください．画像形式のためPDFを拡大しても読めません．図5と6も可能ならば大きめの文字にしてください． -p.2, 右，下から4行目：「トピックz」と「トピックZ」は別物ですか？大文字と小文字を使い分けているのか誤字かわかりませんでした． -2.2.1項（p.2, 右）で説明されているハイパーパラメータαとβですが，3章の評価実験で具体的にどのような値を使ったか示した方がいいでしょう． -2.3節の式(2)のあたりで検索語に対するトピック数を5つに固定しています． 一方，3章ではLDAのトピック数を可変（100から1000）にして評価しています． 検索語に対するトピック数（現状5）を変化させることの影響はあまりないの でしょうか． -表2と3にTF-IDFあるいはDFの値が高い単語を列挙されていますが，これらの値も参考になるのではないかと思います．最上位・最下位の値だけでも示されてはいかがでしょうか．プロジェクト間で値の大小に偏りがあれば，評価結果に影響するかもしれないと考えます． -4.1節から4.4節は表4と5の値を説明しただけなので，多くの文は冗長に感じられました．もし大小関係だけを述べたいのであれば，例えば，4.1節は次の2文で足りるように思います．数値を比較することで述べたいことがあるのであれば，それを書かれた方がいいでしょう． --「特徴語を用いた検索結果を正答率の平均で比べると，トピック数を100に設定した時が最も高く，トピック数1000，500と続いた．頻出語を用いた検索結果も同様にトピック数を100に設定した時最も高く，トピック数500，1000と続いた」 -5.1節の開発者数とメール件数も表1の値を再掲するのは冗長だと思われます．例えば「表1に示したようにApache Pigの開発者数は44人と最も多く，他の3サブプロジェクトは多くとも28人である」と書くことと同程度のことしか伝わりませんでした． -5.1節でApache Pigのメーリングリストを「多くの開発者が議論に参加する活発なメーリングリストである」（p.8，左，2行目あたり）ことが「他のサブプロジェクトより高い平均正答率」につながっていると分析されています．しかし，単に他のサブプロジェクトと比べて開発者数が多いから上位10名に含まれる確率が増えただけではないかという邪推もできそうに思います．このような邪推を起こさせないような分析ができるとより良くなると思います． -5.2節7段落目（p.8，右，下から16行目）でnumreducetaskの正答率の低さの原因を考察されていますが，表2と3からはこの原因が読み取れません．他のプロジェクトでのこの語の使用状況（TF-IDF値やDF値）など具体的なデータを提示された方が説得力が増すと思われます． -表7の下線（hiveのhなど）の役割を説明した方がいいでしょう． -誤字 --p.5，左，下から6行目：図6にのように --p.5，右，式(7)： tfidf -> tf-idf --p.7，右，16行目：61% 100% -> 61%~100% --p.9，左，9行目：トピックを設定 -> トピック数を設定？ ***要約 [#x42b8dba] -評価実験で用いている検索語が実際に使われるかが疑問 --tf-idfによって取得できる単語が上流工程に関わるような開発者を検索するための単語に選ばれるかだろうか．．？ -上流工程開発者の検索を想定した検索語での評価があれば有効性を強く主張できそう -表2,3で 単語を列挙するだけではなくtf-idf値とdf値の値も提示してはどうか？ -numreduccetaskの正答率の低さの考察が分かりにくい．td-idf値やdf値の観点から考察してはどうか？ ***対応 [#x66a28bb] -手法の適用範囲を書く（メーリングリストにある程度投稿している開発者のみにか検索対象とならない） -手法の目的と実験の目的を明らかにする． --実験の目的は，各プロジェクトのドメイン用語で開発者がどの程度検索できるかの確認（実験対象はOSSなので，技術的用語になる） -tf-idf値とdf値の数値の確認．関係がありそうなら追加
タイムスタンプを変更しない
[[福井/査読結果]] *SS2018 [#gb71547c] -査読エクセル：&attachref(ss2018_review.xlsx); **査読コメント1 [#e7ab11bf] ***全文 [#r7bb3935] 「適切な人材配置」という、システム開発上の最重要課題について、客観的・定量的な手法を具体的なデータとともに提案されている点、興味深く、今後の展開が期待される内容だと感じられました．査読者としては、潜在的ディリクレ配分法について詳しくはありませんでしたが、その特徴、研究目的との整合性がよくわかる内容でした。ただ、材料として著名なオープンソース・プロジェクトが利用されており、以下の点で、日本でのシステム開発の現場（以後、単純に「現場」と記載します）とは差異があると考えられます。 -オープンソースプロジェクトの性格上、メールによるコミュニケーションが中心となるが、「現場」では、会議・会話の比率が高く、深い議論はメールに残りにくいのではないか。 -メンバーのスキルレベル・文章表現力が平均的に高く、メール上に特徴が表れやすい。 「現場」への応用にあたり、このあたりがどう影響しそうかの考察があれば良いと感じました。（研究論文との位置付けからすると、まずは手法自体の評価がテーマであるとは思いますが）あと、潜在的ディリクレ配分法に関する日本語の解説文献が参考文献として参照されて入れば、読者としては便利かと思います。 ***要約 [#ybcb2ae4] -LDAの日本語解説論文が参考文献にあればわかりやすい -オープンソースとシステム開発現場では差がある --オープンソースはメール中心・現場は実際の会議・会話中心 -現場への応用にあたり，上記がどう影響するか？考察がほしい -手法の評価が今後のテーマになりそう ***対応 [#e223c5d0] -制約にオープンソースと企業の開発現場の違いを書く．手法の目的と実験の目的の違い -日本語の参考文献の追加 **査読コメント2 [#vc92f1f1] ***全文 [#if17353d] 今後、システムの大規模・複雑化がさらに進むことを考えると、プロジェクトが期待する適切な能力を保有した開発者を特定できる手法は開発チームを迅速に立ち上げる際に重要な研究テーマになると考えます。 今回の提案はメーリングリストの用語を手掛かりに該当者を探索する手法が提案されていましたが、その他にも有用な情報は組織内に存在しているように思います。 今回の提案とそれらの情報を組み合わせることで、提案手法がより適切な探索を実行できる手法に発展していくことを期待しております。 ***要約 [#b0731da0] -メーリングリスト以外にも組織内に有効な情報がありそう，今後組み合わせた手法に期待． -プロジェクトが期待する適切な能力を持った開発者を特定する手法は，開発チームを迅速に立ち上げるための重要な研究テーマになりそう ***対応 [#jcac1d39] -有効な情報の利用については，論文のまとめで今後の展望的な感じで少し触れてみる？ **査読コメント3 [#p03cd928] ***全文 [#c0cdb2a6] 本論文は，ソフトウェア開発者間でやり取りされるメール（メーリングリストのメール）の本文を利用して開発者の専門性を特定し，専門性を表す検索語で開発者を検索できる仕組みを作ろうとしている論文である．潜在的ディリクレ配分法（LDA）を適用することで各メールが扱っているトピックを推定し，検索語-トピック-メールの三者の関係を求めている．評価実験として，Apacheの4つのサブプロジェクトを対象とし，各プロジェクトに関連する検索語からそのプロジェクトの開発者をどの程度高順位で検索できるか調べている．提案手法はトピックモデリングの基本を押さえた自然なもので，（確信はありませんが）有用性もありそうに思います．ただ，評価実験で使われている検索語が，開発者を検索する語として実際に選ばれるだろうかというところに少し疑問を感じました．つまり，単語出現頻度×逆文書頻度（TF-IDF）と文書頻度（DF）の高い10単語を各プロジェクトからピックアップして，それを検索語とみなして実験されていますが，これらの語が1章で述べられているような上流工程（要件定義，基本・詳細設計）にたずさわる開発者を検索する場合に使われそうかという疑問です．難しいとは思いますが，上流工程開発者の検索を想定した検索語での評価があると有用性をより強く主張できるのではないかと感じました． 以降は読者が論文を理解しやすくなると思った箇所についての細かなコメントです -図1と3の文字が小さすぎるので大きくしてください．画像形式のためPDFを拡大しても読めません．図5と6も可能ならば大きめの文字にしてください． -p.2, 右，下から4行目：「トピックz」と「トピックZ」は別物ですか？大文字と小文字を使い分けているのか誤字かわかりませんでした． -2.2.1項（p.2, 右）で説明されているハイパーパラメータαとβですが，3章の評価実験で具体的にどのような値を使ったか示した方がいいでしょう． -2.3節の式(2)のあたりで検索語に対するトピック数を5つに固定しています． 一方，3章ではLDAのトピック数を可変（100から1000）にして評価しています． 検索語に対するトピック数（現状5）を変化させることの影響はあまりないの でしょうか． -表2と3にTF-IDFあるいはDFの値が高い単語を列挙されていますが，これらの値も参考になるのではないかと思います．最上位・最下位の値だけでも示されてはいかがでしょうか．プロジェクト間で値の大小に偏りがあれば，評価結果に影響するかもしれないと考えます． -4.1節から4.4節は表4と5の値を説明しただけなので，多くの文は冗長に感じられました．もし大小関係だけを述べたいのであれば，例えば，4.1節は次の2文で足りるように思います．数値を比較することで述べたいことがあるのであれば，それを書かれた方がいいでしょう． --「特徴語を用いた検索結果を正答率の平均で比べると，トピック数を100に設定した時が最も高く，トピック数1000，500と続いた．頻出語を用いた検索結果も同様にトピック数を100に設定した時最も高く，トピック数500，1000と続いた」 -5.1節の開発者数とメール件数も表1の値を再掲するのは冗長だと思われます．例えば「表1に示したようにApache Pigの開発者数は44人と最も多く，他の3サブプロジェクトは多くとも28人である」と書くことと同程度のことしか伝わりませんでした． -5.1節でApache Pigのメーリングリストを「多くの開発者が議論に参加する活発なメーリングリストである」（p.8，左，2行目あたり）ことが「他のサブプロジェクトより高い平均正答率」につながっていると分析されています．しかし，単に他のサブプロジェクトと比べて開発者数が多いから上位10名に含まれる確率が増えただけではないかという邪推もできそうに思います．このような邪推を起こさせないような分析ができるとより良くなると思います． -5.2節7段落目（p.8，右，下から16行目）でnumreducetaskの正答率の低さの原因を考察されていますが，表2と3からはこの原因が読み取れません．他のプロジェクトでのこの語の使用状況（TF-IDF値やDF値）など具体的なデータを提示された方が説得力が増すと思われます． -表7の下線（hiveのhなど）の役割を説明した方がいいでしょう． -誤字 --p.5，左，下から6行目：図6にのように --p.5，右，式(7)： tfidf -> tf-idf --p.7，右，16行目：61% 100% -> 61%~100% --p.9，左，9行目：トピックを設定 -> トピック数を設定？ ***要約 [#x42b8dba] -評価実験で用いている検索語が実際に使われるかが疑問 --tf-idfによって取得できる単語が上流工程に関わるような開発者を検索するための単語に選ばれるかだろうか．．？ -上流工程開発者の検索を想定した検索語での評価があれば有効性を強く主張できそう -表2,3で 単語を列挙するだけではなくtf-idf値とdf値の値も提示してはどうか？ -numreduccetaskの正答率の低さの考察が分かりにくい．td-idf値やdf値の観点から考察してはどうか？ ***対応 [#x66a28bb] -手法の適用範囲を書く（メーリングリストにある程度投稿している開発者のみにか検索対象とならない） -手法の目的と実験の目的を明らかにする． --実験の目的は，各プロジェクトのドメイン用語で開発者がどの程度検索できるかの確認（実験対象はOSSなので，技術的用語になる） -tf-idf値とdf値の数値の確認．関係がありそうなら追加
テキスト整形のルールを表示する
添付ファイル:
ss2018_review.xlsx
1件
[
詳細
]
![[PukiWiki]](image/wadanyan.png "[PukiWiki]")
