朴素贝叶斯

条件概率与联合概率

• 联合概率：包含多个条件，且所有条件同时成立的概率
  • 记作：P(A,B)
  • 特性：P(A, B) = P(A)P(B)
• 条件概率：就是事件A在另外一个事件B已经发生条件下的发生概率

  - 记作：P(A|B)
  - 特性：P(A1,A2|B) = P(A1|B)P(A2|B)

  注意：此条件概率的成立，是由于A1,A2相互独立的结果(记忆)

贝叶斯公式

P(C|W) = \frac {P(W|C)P(C)} {P(W)}

公式分为三个部分：

• P(C)：每个文档类别的概率(某文档类别数／总文档数量)
• P(W│C)：给定类别下特征（被预测文档中出现的词）的概率
• 计算方法：P(F1│C)=Ni/N （训练文档中去计算）
• Ni为该F1词在C类别所有文档中出现的次数
• N为所属类别C下的文档所有词出现的次数和
• P(F1,F2,…) 预测文档中每个词的概率

应用场景

• 文本分类

朴素?

就是假设特征与特征是相互独立的

朴素贝叶斯 = 朴素 + 贝叶斯公式

拉普拉斯平滑系数

目的：防止计算出的分类概率为0

P(F1|C) = \frac {Ni+\alpha} {N+\alpha m}

α为指定的系数一般为1，m为训练文档中统计出的特征词个数

API

sklearn.naive_bayes.MultinomialNB(alpha = 1.0)

• 朴素贝叶斯分类
• alpha：拉普拉斯平滑系数

例子

def nbcls():
    """
    朴素贝叶斯对新闻数据集进行预测
    :return:
    """
    # 获取新闻的数据，20个类别
    news = fetch_20newsgroups(subset='all')

    # 进行数据集分割
    x_train, x_test, y_train, y_test = train_test_split(news.data, news.target, test_size=0.3)

    # 对于文本数据，进行特征抽取
    tf = TfidfVectorizer()

    x_train = tf.fit_transform(x_train)
    # 这里打印出来的列表是：训练集当中的所有不同词的组成的一个列表
    print(tf.get_feature_names())
    # print(x_train.toarray())

    # 不能调用fit_transform
    x_test = tf.transform(x_test)

    # estimator估计器流程
    mlb = MultinomialNB(alpha=1.0)

    mlb.fit(x_train, y_train)

    # 进行预测
    y_predict = mlb.predict(x_test)

    print("预测每篇文章的类别：", y_predict[:100])
    print("真实类别为：", y_test[:100])

    print("预测准确率为：", mlb.score(x_test, y_test))

    return None

总结

• 优点：
  • 朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率。
  • 对缺失数据不太敏感，算法也比较简单，常用于文本分类。
  • 分类准确度高，速度快
• 缺点：
  • 由于使用了样本属性独立性的假设，所以如果特征属性有关联时其效果不好