宮崎
9月4日追加†
word2vecのみの結果
"software"の類似単語トップ
hosting, 0.929
connecting, 0.927
implement, 0.925
operationa', 0.921
equipment, 0.921
単語の意味自体は全く違うが，要求文書内での使われ方という点では似ている？
hostingは元データ中"organisations hosting component"という形式でよく出現
connectingは"organisations connecting"という形式で出現
9月4日†
前処理の追加
箇条書きの記号の除去
接頭辞をくっつける正規表現の追加
co-ordination→coordination 全データを用いて学習した場合のベクトルの精度の確認（類似単語トップ5）
例）authorized
word2vec（単語，類似度）
legitimate, 0.944
registered, 0.934
capable, 0.918
grant, 0.898
authenticated, 0.896 fasttext（単語，類似度）
unauthorized, 0.984
author, 0.925
authenticated, 0.907
authorization, 0.899
capable, 0.877 glove（単語，類似度）
modify, 0.890
mechanism, 0.883
receive, 0.869
indicate, 0.868
hospital, 0.859 word2vecの方が類義語をとってきている印象
fasttextは同じ語幹の単語をとってきている，文字列の類似度がきいている 他の単語の類似度も見てみましたが，うまく言ってそうなのはわずかです．．．類義語は同じ品詞のものに限定するという条件をつけた方がまだマシのような気がしますが，作為的なような．．． --
ステミングだと周辺単語がバラバラになってより悪くなります． --
今回のアウトプットはレマタイズを適用した場合です． -- 宮崎
ステミング，レマタイズがちゃんとできてない？ --
オモロイけどauthorizedだけじゃなぁ -- 9月3日†
既存手法の実装
word2vec, fasttext, gloveで単語の類似度を計算する処理を追加
学習データ：分類器作成の学習データと全く同じ
類似度の計算はテストデータも含めて行う
シソーラス処理の実装
ベクトルの精度を確認
少し見てみたがかなり怪しい．．．
記号の除去などの前処理を変更する
パラメータを変えて実験してみる 8月30日†
既存研究のサーベイ
最近傍法，SVO，Naive Bayesで分類
対象データはマルチラベル，それぞれ分類器を作成
原文"Since the Weka classifiers do not natively support multiple classifications for an item, we created individual classifiers for each algorithm and classification. "
Gloveのサーベイ
共起関係と周辺単語の情報を用いた分散表現手法
最小二乗法を使っている，細かい数式は理解できず．．． 8月29日†
既存手法の実装
一般的な前処理を考えた
頻出単語の除去
Nグラム？
ステミング or レマタイズ
類義語特定のための処理
シソーラスの利用
Wordnetのような一般的なシソーラス
ソフトウェア開発用のシソーラス（福井が紹介していた？）
分散表現の利用
Word2Vec
fasttex（周辺単語の類似度＋文字列の近さも評価）
Globe（単語の共起関係を用いる） X月X日†
![[PukiWiki]](image/wadanyan.png "[PukiWiki]")
