柏/SoftwareRef/Mallet の履歴(No.2)

• 履歴一覧
• 差分 を表示
• 現在との差分 を表示
• ソース を表示
• 柏/SoftwareRef/Mallet へ行く。
  • 1 (2014-03-23 (日) 12:11:42)
  • 2 (2014-03-23 (日) 12:20:27)

---

柏/SoftwareRef

malletのコマンドBy 陽ちゃん†

1. 拡張子が.malletのファイルを出力
   

   $bin/mallet import-dir --input 入力ディレクトリ --output 出力ファイル名.mallet --keep-sequence --remove-stopwords

   • Javaではcc.mallet.classify.tui.Text2Vectors;;
2. .malletファイルをもとに10のトピックにわける

   $ bin/mallet train-topics --input さっき作ったファイル.mallet --num-topics 10 --output-state 出力ファイル1.gz --optimize-interval 10 --output-topic-keys 出力ファイル2

   • Javaではcc.mallet.topics.tui.Vectors2Topics;;
   • 出力ファイルの中身は出力ファイル1.gzが単語ごとにどのトピックに分けられたかが書いてあっ-て、出力ファイル2が各トピックでよく見られるトップ20の単語
3. classify-dirとかclassify-fileで予測・分類する

MalletのオプションBy 陽ちゃん†

import-dir†

• load the contents of a directory into mallet instances (one per file)
• mallet instanceにディレクトリをロードする

import-file†

• load a single file into mallet instances (one per line)
• mallet instanceにファイルをロードする

import-svmlight†

• load SVMLight format data files into Mallet instances
• mallet instanceにSVMLightフォーマットのデータファイルをロードする

train-classifier†

• train a classifier from Mallet data files
• Malletデータファイルからclassifierを学習する

classify-dir†

• classify data from a single file with a saved classifier
• 保存されたclassifierで単一ファイルのデータを分類する

classify-file†

• classify the contents of a directory with a saved classifier
• 保存されたclassifierでディレクトリのコンテンツを分類する

classify-svmlight†

• classify data from a single file in SVMLight format
• SVMLightフォーマットに単一ファイルのデータを分類する

train-topics†

• train a topic model from Mallet data files
• Malletデータファイルからトピックモデルを学習する

infer-topics†

• use a trained topic model to infer topics for new documents

新しいドキュメントのトピックを推測するために学習されたトピックモデルを使う†

evaluate-topics†

• estimate the probability of new documents under a trained model
• 学習モデルによって新しいドキュメントの可能性を評価する

hlda†

• train a topic model using Hierarchical LDA
• 階層的LDAを使用してトピックモデルを学習する

prune†

• remove features based on frequency or information gain
• 頻度か情報利得に基づいた特徴を削除する

split†

• divide data into testing, training, and validation portions
• データをテスト、学習、確認部分に分割する