Python实现的朴素贝叶斯算法经典示例【测试可用】

  • Post category:Python

Python实现的朴素贝叶斯算法经典示例【测试可用】

朴素贝叶斯算法是一种常见的分类算法,它基于贝叶斯定理和特征条件独立假设,可以用于文本分类、垃圾邮件过滤、情感分析等领域。在本文中,我们将介绍Python实现的朴素贝叶斯算法经典示例,并提供测试代码。

朴素贝叶斯算法原理

朴素贝叶斯算法是一种基于贝叶斯定理的分类算法,它假设每个特征之间是相互独立的,即特征之间不存在相关性。根据贝叶斯定理,我们可以得到以下公式:

$$P(c|x_1,x_2,…,x_n)=\frac{P(c)P(x_1,x_2,…,x_n|c)}{P(x_1,x_2,…,x_n)}$$

其中,$c$表示类别,$x_1,x_2,…,x_n$表示特征。我们需要计算$P(c|x_1,x_2,…,x_n)$的概率,即在给定特征$x_1,x_2,…,x_n$的条件下,类别$c$的概率。根据贝叶斯定理,我们可以将其转化为以下公式:

$$P(c|x_1,x_2,…,x_n)=\frac{P(c)P(x_1,x_2,…,x_n|c)}{\sum_{i}P(c_i)P(x_1,x_2,…,x_n|c_i)}$$

其中,$c_i$表示所有类别,$\sum_{i}P(c_i)P(x_1,x_2,…,x_n|c_i)$表示所有类别的概率和。

朴素贝叶斯算法示例

示例1:使用朴素贝叶斯算法进行文本分类

在这个示例中,我们将使用朴素贝叶斯算法对文本进行分类。我们首先需要准备训练数据和测试数据。训练数据包含多个文本和对应的类别,测试数据包含多个文本。我们需要使用训练数据训练模型,并使用测试数据测试模型的准确率。

import os
import re
import math
from collections import defaultdict

class NaiveBayesClassifier:
    def __init__(self):
        self.vocab = set()  # 词汇表
        self.labels = set()  # 类别集合
        self.label_word_count = defaultdict(int)  # 每个类别中单词的数量
        self.label_count = defaultdict(int)  # 每个类别的数量
        self.word_count = 0  # 单词总数

    def train(self, data):
        for label, text in data:
            self.labels.add(label)
            self.label_count[label] += 1
            for word in self.tokenize(text):
                self.vocab.add(word)
                self.label_word_count[label, word] += 1
                self.word_count += 1

    def classify(self, text):
        probabilities = {}
        for label in self.labels:
            probabilities[label] = math.log(self.label_count[label] / sum(self.label_count.values()))
            for word in self.tokenize(text):
                probabilities[label] += math.log((self.label_word_count[label, word] + 1) / (self.label_count[label] + len(self.vocab)))
        return max(probabilities, key=probabilities.get)

    def tokenize(self, text):
        text = text.lower()
        text = re.sub(r'[^\w\s]', '', text)
        return text.split()

def load_data(path):
    data = []
    for label in os.listdir(path):
        for file in os.listdir(os.path.join(path, label)):
            with open(os.path.join(path, label, file), 'r', encoding='utf-8') as f:
                text = f.read()
                data.append((label, text))
    return data

train_data = load_data('train')
test_data = load_data('test')

classifier = NaiveBayesClassifier()
classifier.train(train_data)

correct = 0
for label, text in test_data:
    if classifier.classify(text) == label:
        correct += 1

accuracy = correct / len(test_data)
print('Accuracy:', accuracy)

在这个示例中,我们首先定义了一个名为NaiveBayesClassifier的类,它包含train和classify两个方法。train方法用于训练模型,classify方法用于对文本进行分类。我们使用defaultdict(int)来初始化label_word_count和label_count,它们分别表示每个类别中单词的数量和每个类别的数量。我们使用set()来初始化vocab和labels,它们分别表示词汇表和类别集合。我们使用tokenize方法将文本转换为单词列表。

在train方法中,我们遍历训练数据,对每个文本进行处理。我们使用add方法将类别添加到labels集合中,使用+=运算符将类别的数量加1。我们使用tokenize方法将文本转换为单词列表,遍历单词列表,对每个单词进行处理。我们使用add方法将单词添加到vocab集合中,使用+=运算符将单词在该类别中的数量加1,使用+=运算符将单词总数加1。

在classify方法中,我们首先定义一个空字典probabilities,用于存储每个类别的概率。我们遍历labels集合,对每个类别进行处理。我们使用math.log计算类别的先验概率。我们使用tokenize方法将文本转换为单词列表,遍历单词列表,对每个单词进行处理。我们使用math.log计算单词在该类别中的条件概率。最后,我们返回概率最大的类别。

在load_data方法中,我们遍历训练数据或测试数据,对每个文本进行处理。我们使用os.listdir获取目录下的所有文件名,使用os.path.join拼接文件路径,使用with语句打开文件,使用read方法读取文件内容,将类别和文本添加到data列表中。

在主程序中,我们首先使用load_data方法加载训练数据和测试数据。我们使用NaiveBayesClassifier类创建一个分类器对象classifier,并使用train方法训练模型。我们遍历测试数据,对每个文本进行处理,使用classify方法对文本进行分类。我们使用if语句判断分类结果是否正确,使用+=运算符将正确分类的数量加1。最后,我们计算准确率并输出结果。

示例2:使用朴素贝叶斯算法进行垃圾邮件过滤

在这个示例中,我们将使用朴素贝叶斯算法对邮件进行分类,判断是否为垃圾邮件。我们需要准备训练数据和测试数据,训练数据包含多个邮件和对应的类别,测试数据包含多个邮件。我们需要使用训练数据训练模型,并使用测试数据测试模型的准确率。

import os
import re
import math
from collections import defaultdict

class NaiveBayesClassifier:
    def __init__(self):
        self.vocab = set()  # 词汇表
        self.labels = set()  # 类别集合
        self.label_word_count = defaultdict(int)  # 每个类别中单词的数量
        self.label_count = defaultdict(int)  # 每个类别的数量
        self.word_count = 0  # 单词总数

    def train(self, data):
        for label, text in data:
            self.labels.add(label)
            self.label_count[label] += 1
            for word in self.tokenize(text):
                self.vocab.add(word)
                self.label_word_count[label, word] += 1
                self.word_count += 1

    def classify(self, text):
        probabilities = {}
        for label in self.labels:
            probabilities[label] = math.log(self.label_count[label] / sum(self.label_count.values()))
            for word in self.tokenize(text):
                probabilities[label] += math.log((self.label_word_count[label, word] + 1) / (self.label_count[label] + len(self.vocab)))
        return max(probabilities, key=probabilities.get)

    def tokenize(self, text):
        text = text.lower()
        text = re.sub(r'[^\w\s]', '', text)
        return text.split()

def load_data(path):
    data = []
    for label in os.listdir(path):
        for file in os.listdir(os.path.join(path, label)):
            with open(os.path.join(path, label, file), 'r', encoding='utf-8') as f:
                text = f.read()
                data.append(('spam' if label == 'spam' else 'ham', text))
    return data

train_data = load_data('train')
test_data = load_data('test')

classifier = NaiveBayesClassifier()
classifier.train(train_data)

correct = 0
for label, text in test_data:
    if classifier.classify(text) == label:
        correct += 1

accuracy = correct / len(test_data)
print('Accuracy:', accuracy)

在这个示例中,我们首先定义了一个名为NaiveBayesClassifier的类,它包含train和classify两个方法。train方法用于训练模型,classify方法用于对邮件进行分类。我们使用defaultdict(int)来初始化label_word_count和label_count,它们分别表示每个类别中单词的数量和每个类别的数量。我们使用set()来初始化vocab和labels,它们分别表示词汇表和类别集合。我们使用tokenize方法将邮件转换为单词列表。

在train方法中,我们遍历训练数据,对每个邮件进行处理。我们使用add方法将类别添加到labels集合中,使用+=运算符将类别的数量加1。我们使用tokenize方法将邮件转换为单词列表,遍历单词列表,对每个单词进行处理。我们使用add方法将单词添加到vocab集合中,使用+=运算符将单词在该类别中的数量加1,使用+=运算符将单词总数加1。

在classify方法中,我们首先定义一个空字典probabilities,用于存储每个类别的概率。我们遍历labels集合,对每个类别进行处理。我们使用math.log计算类别的先验概率。我们使用tokenize方法将邮件转换为单词列表,遍历单词列表,对每个单词进行处理。我们使用math.log计算单词在该类别中的条件概率。最后,我们返回概率最大的类别。

在load_data方法中,我们遍历训练数据或测试数据,对每个邮件进行处理。我们使用os.listdir获取目录下的所有文件名,使用os.path.join拼接文件路径,使用with语句打开文件,使用read方法读取文件内容,将类别和邮件添加到data列表中。我们将垃圾邮件的类别设置为’spam’,将正常邮件的类别设置为’ham’。

在主程序中,我们首先使用load_data方法加载训练数据和测试数据。我们使用NaiveBayesClassifier类创建一个分类器对象classifier,并使用train方法训练模型。我们遍历测试数据,对每个邮件进行处理,使用classify方法对邮件进行分类。我们使用if语句判断分类结果是否正确,使用+=运算符将正确分类的数量加1。最后,我们计算准确率并输出结果。