环境

• jieba
  • pip install jieba
• sklearn
  • pip install -U scikit-learn
• python3.5

运行方法

• -c classfile_name 命令用来指定要用的分类器的名字：

名字	对应的分类器
p	Perceptron
lr	LogisticRegression
nb	NaiveBayesian
svm	SVM(sklearn)
lrs	LogisticRegression(sklearn)
nbs	NaiveBayesian(sklearn)

• -i filename 为指定输入的短信文件名（该文件一行为一条短信）

• -o filename 为指定输出的结果文件（结果用0和1表示，1为垃圾短信，每一行对应输入文件的短信结果）

例如：

python judgeSpamMessage.py -c svm -i ./data/不带标签短信.txt -o ./data/result.txt

上述的命令指定了使用svm分类器，判断./data/不带标签短信.txt中的短信是否为垃圾短信，并将结果输出到./data/result.txt中。

训练啥的

• 首先运行token_and_save_to_file.py，分词保存结果
• test.py 中有交叉验证等方法

文件说明

文件夹解释如下：

文件夹名	作用
classifier	分类器代码存放的文件夹
data	数据文件
model	保存的模型

文件的解释如下：

文件夹名	作用
classifier/LogisticRegression.py	本组实现的逻辑回归分类器源代码
classifier/NaiveBayesian.py	本组实现的朴素贝叶斯分类器源代码
classifier/Perceptron.py	本组实现的感知器分类器源代码
data/tags_token_results	带标签短信分词保存结果,token_and_save_to_file.py的生成的
data/ tags_token_results_tag	带标签短信的类别
data/不带标签短信.txt	不带标签短信数据集
data/带标签短信.txt	带标签短信数据集
model/ Bayes_sklearn.pkl	sklearn的贝叶斯分类器训练结果保存
model/ Logistic_sklearn.pkl	sklearn的逻辑回归分类器训练结果保存
model/ LogisticRegression.pkl	本组实现的逻辑回归分类器训练结果保存
model/ NaiveBayesian.pkl	本组实现的贝叶斯分类器训练结果保存
model/ Perceptron.pkl	本组实现的感知器训练结果保存
model/ SVM_sklearn.pkl	sklearn的SVM分类器结果保存
model/ train_data.pkl	带标签的短信的BOW表示结果
model/ vsm.pkl	用于将新文档表示为BOW的训练完的类保存
judgeSpamMessage.py	用于判断输入的短信是否是垃圾短信
model_manage.py	用于读入保存模型
readme.md	说明文件
test.py	测试文件
token_and_save_to_file.py	分词并保存带标签的短信的结果，方便训练