福井の履歴(No.55) - PukiWiki

[ トップ ] [ 新規 | 一覧 | 検索 | 最終更新 | ヘルプ ]

Schedule†

	Mon	Tue	Wed	Thu	Fri
1	全体MTG	ユビキタス（第1Q）	ユビキタス（第1Q）
2	全体MTG				生活環境デザイン論
3	グループウェア論（第1Q）		グループウェア論（第1Q）		MTG
4					大ゼミ
5		知的ロボティクス			ナノキャリアアップ特論

Goal†

エキスパート検索ツールの実装
- 過去に似た仕事をした人なども表示したい（単にその仕事を多くしている人を表示するのでは意味がない）
他のアルゴリズムとの比較

ミーティング†

4/9†

Done
- ランダムで抽出した投稿のキーワードを用いて，手法により開発者を検索した．
  - キーワードはtf値を用いて選出
  - 投稿者が出てきたり出てこなかったり

4/2†

Done†

Expertise Browserを引いている最近の論文をサーベイしています
- プロジェクト管理を目的としている
  - 評価があいまい・企業のデータを使ってる
- オープンソースの専門家検索の支援．
  - バグトリアージに近づいていく（バグレポートにだれを割り当てるか）

Todo†

評価実験（ランダムで抽出したメール）
アイディア議論

1/24†

Todo†

関連研究は，推薦手法，技術的などのように分けて書く

12/20†

Done†

特徴語を用いた実験（トピック500,5000と単純検索）をした
論文を目的部分から書き始めた

Todo†

論文を早急に，かけたところからすぐにレビューもらう

12/13†

Done†

トピック数を変えて実験
- トピック100(完了)
- トピック500,5000(集計中)
単純検索と比較(一部 )

12/6†

Done†

hadoopのサブプロジェクトを使って実験した

Todo†

単純検索との比較
トピック数を変更して比較

11/29†

Done†

hadoopのメーリングリスト集めて中身確認

Todo†

hadoopプロジェクト
- pig
- hive
- chukuwa
- zookeper

11/22†

Done†

データ作成中
- httpdとかは期間が長すぎるがいいのか？？

Todo†

プロジェクト１つで内容を確認
hadoopで実験

11/15†

Done†

メール件数を揃えて，プロジェクトを少し変更
- 各プロジェクトの特徴語5つずつで実験をした

Todo†

ランダムで1000件ずつで実験を行う

11/8†

Done†

全プロジェクトでandをとった単語を抽出
- メール件数が少ないプロジェクトは単語が消えすぎる
- メール件数を揃える必要がある？

Todo†

メール件数を揃える
プロジェクトを見直す

11/1†

Done†

実験を行なったが上手くいかない
- プロジェクト数を減らして，短くすればどうか..

Todo†

出現単語で複数プロジェクトで被っている単語をstopwordとしてみる
トピック数を増やす

10/18†

Done†

実験を行うプロジェクト８個を決めてメールデータ取得した
各プロジェクトの出現回数の多い単語10個を取得した
目次を作成した

Todo†

特徴量の高い単語10個抽出
各検索クエリで結果を出す

10/11†

Done†

単純に単語が出現する文章を数えるプログラムを作成

Todo†

実験を行う(LDAのプログラム)
- メーリングリスト組み合わせたデータに対して
  - ランダムで10語と上位10語
目次作成

10/5†

Done†

プログラムにレマタイズ・ステミング処理を追加　
LDAモデルを作る前にtf-idfの処理を加えて重要度の低い単語を消した(apache・modなど)

Todo†

アンビックの評価の方法を調べる
単純に入力クエリが出現する文章を数える全文検索と比較してみる
リリースレポートから
卒論の目次を作る

9/12†

Todo†

FOSE論文を書く
オープンラボのポスター作成
メールデータの前処理を行う(レマタイズ　ステミング）

9/6†

Todo†

目的をもっと明確にする
なぜエキスパートを探す必要があるのか

Done†

なぜか
- プロジェクトに適任の開発者を割り当てる
- 開発者が過去に関わったことのある, 案件や技術を把握したい
目的
- ドメイン用語から, そのドメイン用語に関わったことのある開発者を推薦する

8/9†

Todo†

研究背景・目的・アプローチ

8/2†

Done†

プログラムを動かした
Apache httpdのメーリングリストを与えて出力の確認をした

Todo†

入力で与えたクエリから逆引きで検索する流れを確認する
SRAで聞きたいことをまとめる

7/26†

Done†

柏さんが書いてくれたコメントを参考に流れを確認
プログラムを動かすためにPCをセッティング（途中）
- Tika Server NLTKで止まってる

Todo†

プログラムを動かして、実際にmboxのデータを与える

7/12†

Done†

ざっくりとしたフローチャート？（流れ）とクラスごとの機能の特定

Todo†

ソースコードを解読（柏さんにもお願いする）

7/5†

Done†

ソースコードを理解しようとした（よくわからない）

Todo†

フローチャートの作成

6/27†

Done†

Expert-Finderにインポートされているライブラリのざっくりとした機能を整理した

Todo†

引き続き整理

6/21†

Done†

ソースコードを俯瞰した（どんなライブラリを使っているか調べなければいけなさそう）

Todo†

ライブラリの機能を整理する

6/14†

Done†

作りたい内容を整理し直して考えた

Todo†

ソースコード確認

6/6†

Done†

作りたい内容を整理した

Todo†

どのように、より特徴的な単語を抽出するか考える
内容を整理し直す

5/31†

Done†

Word2Vecの仕組みが少し分かった（Skip-gram Cbow)

Todo†

かわべさんの作りたい内容を図と言葉で整理する
(優先)A4ノートPCクリーンインストール用意

5/24†

Done†

統計学入門を読んだ
確率統計とベイズの定理のスライド

Todo†

問題定義(論文読んで)
word2vec

Memo†

エキスパートの定義ができていない
エキスパートは多様（設計・要件定義）
ソフトウェア開発はコーディングだけではない

5/17†

Done†

統計学入門を60%ぐらい読んだ
関連する論文を何本か読んだ

Todo†

確率・統計を引き続き（５月中）

5/10†

Done†

線形代数の本90%
確率の本 20%

Todo†

線形代数を引き続き
確率を引き続き
論文をもっと俯瞰する

5/2†

Done†

線形代数の本 60%程度
Dicomo色付け

Todo†

線形代数に区切りをつける
確率に取り組む

4/26†

Done†

プログラミングのための線形代数で勉強し始めた（ランクあたりから怪しい）

Todo†

線形代数引き続き
機械学習のための確率と統計
Dicomo原稿（赤青　色付け）

4/19†

Done†

トピックモデルによる統計的潜在意味解析の本のLDAの部分を読んだ（よくわからない）
LDAのプログラムを動かしてみた

Todo†

確率、線形代数の知識で分かっていることと、分かっていないことをはっきりさせる
分からない部分を、できるところまで学習
ソースコードも見てみる

4/12†

Done†

トピックモデルによる統計的潜在意味解析の本のLSIの部分を読んだ
Pythonによるスクレイピング&機械学習 0章と1章

Todo†

Pythonによるスクレイピング　4章以降
(高）Mecab、gensimのアルゴリズムを理解する
- LDAの仕組みを学ぶ
  - パラメーター（設定）の仕組みが分かるように・・・

4/5†

Done†

テキストマイニング入門を読んだ（かなり飛ばしながら）
LSIの仕組みがわかってきた(重要でない情報を削って重要な情報を目立たせる？)

Todo†

特異値分解の理解
pythonによる機械学習をpdfにして勉強

3/29†

Done†

LSIとLDAがどういうものか調べてみた（何が出来るかはざっくりとは分かったが、数式は全然わからない、違いもあまり分からない）
Gitの基本的な使い方は分かってきた

Todo†

tfidf、LSI、LDAの違い
テキストマイニング入門を読む

3/15†

Done†

Pythonの勉強（言語処理のためのプログラミング入門）もうすぐ終わる
LDAを使うためにgensim入れてみた。（使い方はよくわからない）

Todo†

テキストマイニングの勉強
gensimのライブラリを全体像を確認する
「自然言語処理の基本と技術」読む

3/8†

Todo†

ある時期だけ、起こっている事象を分析
LDAを少しずつ勉強
論文のサーベイ（テキストマイングとかも）

3/1†

Todo†

メールによってソースコードよりも粗い粒度で、開発者の知識レベルを特定
エキスパート推薦のサーベイ
ソフトウェア工学以外のエキスパート推薦の論文の方が使える技術があるかも？(人工知能系）