宮崎
9月4日†
前処理の追加
箇条書きの記号の除去
接頭辞をくっつける正規表現の追加
co-ordination→coordination
全データを用いて学習した場合のベクトルの精度の確認(類似単語トップ5)
例)authorized
word2vec(単語,類似度)
'legitimate', 0.944
'registered', 0.934
capable', 0.918
grant', 0.898
authenticated', 0.896
fasttext(単語,類似度)
'unauthorized', 0.984
author', 0.925
authenticated', 0.907
authorization', 0.899
capable', 0.877
glove(単語,類似度)
'modify', 0.890
'mechanism', 0.883
'receive', 0.869
'indicate', 0.868
'hospital', 0.859
word2vecの方が類義語をとってきている印象
fasttextは同じ語幹の単語をとってきている,文字列の類似度がきいている
ステミング,レマタイズがちゃんとできてない? --
オモロイけどauthorizedだけじゃなぁ --
9月3日†
既存手法の実装
word2vec, fasttext, gloveで単語の類似度を計算する処理を追加
学習データ:分類器作成の学習データと全く同じ
類似度の計算はテストデータも含めて行う
シソーラス処理の実装
ベクトルの精度を確認
少し見てみたがかなり怪しい...
記号の除去などの前処理を変更する
パラメータを変えて実験してみる
8月30日†
既存研究のサーベイ
最近傍法,SVO,Naive Bayesで分類
対象データはマルチラベル,それぞれ分類器を作成
原文"Since the Weka classifiers do not natively support multiple classifications for an item, we created individual classifiers for each algorithm and classification. "
Gloveのサーベイ
共起関係と周辺単語の情報を用いた分散表現手法
最小二乗法を使っている,細かい数式は理解できず...
8月29日†
既存手法の実装
一般的な前処理を考えた
頻出単語の除去
Nグラム?
ステミング or レマタイズ
類義語特定のための処理
シソーラスの利用
Wordnetのような一般的なシソーラス
ソフトウェア開発用のシソーラス(福井が紹介していた?)
分散表現の利用
Word2Vec
fasttex(周辺単語の類似度+文字列の近さも評価)
Globe(単語の共起関係を用いる)
X月X日†