柏/SoftwareRef/Mallet
の編集
https://floss-lab.org/pukiwiki/?%E6%9F%8F/SoftwareRef/Mallet
[
トップ
] [
編集
|
差分
|
履歴
|
添付
|
リロード
] [
新規
|
一覧
|
検索
|
最終更新
|
ヘルプ
]
-- 雛形とするページ --
(no template pages)
[[柏/SoftwareRef]] *malletのコマンドBy 陽ちゃん [#f186f7a8] +拡張子が.malletのファイルを出力~ $bin/mallet import-dir --input 入力ディレクトリ --output 出力ファイル名.mallet --keep-sequence --remove-stopwords --Javaではcc.mallet.classify.tui.Text2Vectors;; +.malletファイルをもとに10のトピックにわける $ bin/mallet train-topics --input さっき作ったファイル.mallet --num-topics 10 --output-state 出力ファイル1.gz --optimize-interval 10 --output-topic-keys 出力ファイル2 --Javaではcc.mallet.topics.tui.Vectors2Topics;; --出力ファイルの中身は出力ファイル1.gzが単語ごとにどのトピックに分けられたかが書いてあっ-て、出力ファイル2が各トピックでよく見られるトップ20の単語 +classify-dirとかclassify-fileで予測・分類する *MalletのオプションBy 陽ちゃん [#f72a4303] **import-dir [#mb0b577b] -load the contents of a directory into mallet instances (one per file) -mallet instanceにディレクトリをロードする **import-file [#tfe9c8c0] -load a single file into mallet instances (one per line) -mallet instanceにファイルをロードする **import-svmlight [#h61ce284] -load SVMLight format data files into Mallet instances -mallet instanceにSVMLightフォーマットのデータファイルをロードする **train-classifier [#odd026bf] -train a classifier from Mallet data files -Malletデータファイルからclassifierを学習する **classify-dir [#pdc9d12e] -classify data from a single file with a saved classifier -保存されたclassifierで単一ファイルのデータを分類する **classify-file [#m06e446b] -classify the contents of a directory with a saved classifier -保存されたclassifierでディレクトリのコンテンツを分類する **classify-svmlight [#j990a517] -classify data from a single file in SVMLight format -SVMLightフォーマットに単一ファイルのデータを分類する **train-topics [#ue1b77e6] -train a topic model from Mallet data files -Malletデータファイルからトピックモデルを学習する **infer-topics [#sf9d91d4] -use a trained topic model to infer topics for new documents **新しいドキュメントのトピックを推測するために学習されたトピックモデルを使う [#k217597d] **evaluate-topics [#j8b5d52e] -estimate the probability of new documents under a trained model -学習モデルによって新しいドキュメントの可能性を評価する **hlda [#a409055c] -train a topic model using Hierarchical LDA -階層的LDAを使用してトピックモデルを学習する **prune [#gfc6845b] -remove features based on frequency or information gain -頻度か情報利得に基づいた特徴を削除する **split [#sbd5d26b] -divide data into testing, training, and validation portions -データをテスト、学習、確認部分に分割する *コマンドとソースコード [#i2b8113f] -import-dir：cc.mallet.classify.tui.Text2Vectors -import-file：cc.mallet.classify.tui.Csv2Vectors -import-svmlight：cc.mallet.classify.tui.SvmLight2Vectors -train-classifier：cc.mallet.classify.tui.Vectors2Classify -classify-dir：cc.mallet.classify.tui.Text2Classify -classify-file：cc.mallet.classify.tui.Csv2Classify -train-topics：cc.mallet.topics.tui.Vectors2Topics -infer-topics：cc.mallet.topics.tui.InferTopics -evaluate-topics：cc.mallet.topics.tui.EvaluateTopics -hlda：cc.mallet.topics.tui.HierarchicalLDATUI -prune：cc.mallet.classify.tui.Vectors2Vectors -split：cc.mallet.classify.tui.Vectors2Vectors -bulk-load：cc.mallet.util.BulkLoader
タイムスタンプを変更しない
[[柏/SoftwareRef]] *malletのコマンドBy 陽ちゃん [#f186f7a8] +拡張子が.malletのファイルを出力~ $bin/mallet import-dir --input 入力ディレクトリ --output 出力ファイル名.mallet --keep-sequence --remove-stopwords --Javaではcc.mallet.classify.tui.Text2Vectors;; +.malletファイルをもとに10のトピックにわける $ bin/mallet train-topics --input さっき作ったファイル.mallet --num-topics 10 --output-state 出力ファイル1.gz --optimize-interval 10 --output-topic-keys 出力ファイル2 --Javaではcc.mallet.topics.tui.Vectors2Topics;; --出力ファイルの中身は出力ファイル1.gzが単語ごとにどのトピックに分けられたかが書いてあっ-て、出力ファイル2が各トピックでよく見られるトップ20の単語 +classify-dirとかclassify-fileで予測・分類する *MalletのオプションBy 陽ちゃん [#f72a4303] **import-dir [#mb0b577b] -load the contents of a directory into mallet instances (one per file) -mallet instanceにディレクトリをロードする **import-file [#tfe9c8c0] -load a single file into mallet instances (one per line) -mallet instanceにファイルをロードする **import-svmlight [#h61ce284] -load SVMLight format data files into Mallet instances -mallet instanceにSVMLightフォーマットのデータファイルをロードする **train-classifier [#odd026bf] -train a classifier from Mallet data files -Malletデータファイルからclassifierを学習する **classify-dir [#pdc9d12e] -classify data from a single file with a saved classifier -保存されたclassifierで単一ファイルのデータを分類する **classify-file [#m06e446b] -classify the contents of a directory with a saved classifier -保存されたclassifierでディレクトリのコンテンツを分類する **classify-svmlight [#j990a517] -classify data from a single file in SVMLight format -SVMLightフォーマットに単一ファイルのデータを分類する **train-topics [#ue1b77e6] -train a topic model from Mallet data files -Malletデータファイルからトピックモデルを学習する **infer-topics [#sf9d91d4] -use a trained topic model to infer topics for new documents **新しいドキュメントのトピックを推測するために学習されたトピックモデルを使う [#k217597d] **evaluate-topics [#j8b5d52e] -estimate the probability of new documents under a trained model -学習モデルによって新しいドキュメントの可能性を評価する **hlda [#a409055c] -train a topic model using Hierarchical LDA -階層的LDAを使用してトピックモデルを学習する **prune [#gfc6845b] -remove features based on frequency or information gain -頻度か情報利得に基づいた特徴を削除する **split [#sbd5d26b] -divide data into testing, training, and validation portions -データをテスト、学習、確認部分に分割する *コマンドとソースコード [#i2b8113f] -import-dir：cc.mallet.classify.tui.Text2Vectors -import-file：cc.mallet.classify.tui.Csv2Vectors -import-svmlight：cc.mallet.classify.tui.SvmLight2Vectors -train-classifier：cc.mallet.classify.tui.Vectors2Classify -classify-dir：cc.mallet.classify.tui.Text2Classify -classify-file：cc.mallet.classify.tui.Csv2Classify -train-topics：cc.mallet.topics.tui.Vectors2Topics -infer-topics：cc.mallet.topics.tui.InferTopics -evaluate-topics：cc.mallet.topics.tui.EvaluateTopics -hlda：cc.mallet.topics.tui.HierarchicalLDATUI -prune：cc.mallet.classify.tui.Vectors2Vectors -split：cc.mallet.classify.tui.Vectors2Vectors -bulk-load：cc.mallet.util.BulkLoader
テキスト整形のルールを表示する
![[PukiWiki]](image/wadanyan.png "[PukiWiki]")
