贝叶斯多分类实现之非参数估计方法

一、前言

  在之前的文章中，我们已经实现了使用参数估计类的条件概率密度来进行多分类，这篇文章，我将继续使用非参数估计方法，并与参数估计方法的效果进行对比，以及对之前所有的算法进行一个性能方面的总结。本篇将是这个系列最后一篇文章。

二、使用非参数估计方法进行多分类

  与参数估计方法类似，只不过在估计类的条件概率密度时使用相应的非参数估计方法。此外，还需要对数据进行适当缩放，防止运算溢出。

a. Parzen窗法（h=0.75）

相关代码如下：
导入数据、获取数据信息并对数据进行缩放处理。

clear
warning off;
load('Mult-class Problem.mat');

tic
%数据缩放，防止溢出
Testing_data=Testing_data/100;
Training_data=Training_data/100;
% 获取数据集信息
class_nums=Label_training(end);% 类别数
test_nums=size(Testing_data,2);% 测试样本数量
train_nums=size(Training_data,2);    %训练样本数量

计算先验概率。

% 计算先验概率
for class=1:class_nums
    Training_temp=Training_data(:,Label_training==class);
    num=size(Training_temp,2);
    pw(class)=num/train_nums;
end

遍历测试样本，对样本进行分类，打印实时正确率

for i=1:test_nums
    for class=1:class_nums
        x=Testing_data(:,i);
        Training_temp=Training_data(:,Label_training==class);
        g(class)=pw(class)*Parzen(x,0.75,Training_temp);
    end
    [~,argmax]=max(g);
    predict(i)=argmax;
    if mod(i,100) == 0
        acc=sum(predict==Label_testing(1:i))/i;
        disp(['预测数据号：' num2str(i)])
        disp(['准确度是：' num2str(acc)])
    end
end

计算总正确率

acc=sum(predict==Label_testing(1:test_nums))/test_nums;        
toc
disp(['总准确度是：' num2str(acc)])

完整代码如下：

clear
warning off;
load('Mult-class Problem.mat');

tic
%数据缩放，防止溢出
Testing_data=Testing_data/100;
Training_data=Training_data/100;
% 获取数据集信息
class_nums=Label_training(end);% 类别数
test_nums=size(Testing_data,2);% 测试样本数量
train_nums=size(Training_data,2);    %训练样本数量

predict=0;
% 计算先验概率
for class=1:class_nums
    Training_temp=Training_data(:,Label_training==class);
    num=size(Training_temp,2);
    pw(class)=num/train_nums;
end

for i=1:test_nums
    for class=1:class_nums
        x=Testing_data(:,i);
        Training_temp=Training_data(:,Label_training==class);
        g(class)=pw(class)*Parzen(x,0.75,Training_temp);
    end
    [~,argmax]=max(g);
    predict(i)=argmax;
    if mod(i,100) == 0
        acc=sum(predict==Label_testing(1:i))/i;
        disp(['预测数据号：' num2str(i)])
        disp(['准确度是：' num2str(acc)])
    end
end

acc=sum(predict==Label_testing(1:test_nums))/test_nums;        
toc
disp(['总准确度是：' num2str(acc)])

程序运行结果分析：运行耗时大约是参数估计方法的一半，但正确率没有使用参数估计方法高，仅为65%。

b.Kn近邻法（N=2）

编程实现与Parzen窗法类似，只是类的条件概率密度使用近邻法进行估计。

for i=1:test_nums
    for class=1:class_nums
        x=Testing_data(:,i);
        Training_temp=Training_data(:,Label_training==class);
        g(class)=pw(class)*KNN(x,2,Training_temp);
    end
    [~,argmax]=max(g);
    predict(i)=argmax;
    if mod(i,100) == 0
        acc=sum(predict==Label_testing(1:i))/i;
        disp(['预测数据号：' num2str(i)])
        disp(['准确度是：' num2str(acc)])
    end
end

完整代码如下：

clear
warning off;
load('Mult-class Problem.mat');

tic
%数据缩放，防止溢出
Testing_data=Testing_data/100;
Training_data=Training_data/100;
% 获取数据集信息
class_nums=Label_training(end);
test_nums=size(Testing_data,2);
train_nums=size(Training_data,2);    

predict=0;
% 计算先验概率
for class=1:class_nums
    Training_temp=Training_data(:,Label_training==class);
    num=size(Training_temp,2);
    pw(class)=num/train_nums;
end

for i=1:test_nums
    for class=1:class_nums
        x=Testing_data(:,i);
        Training_temp=Training_data(:,Label_training==class);
        g(class)=pw(class)*KNN(x,2,Training_temp);
    end
    [~,argmax]=max(g);
    predict(i)=argmax;
    if mod(i,100) == 0
        acc=sum(predict==Label_testing(1:i))/i;
        disp(['预测数据号：' num2str(i)])
        disp(['准确度是：' num2str(acc)])
    end
end

acc=sum(predict==Label_testing(1:test_nums))/test_nums;        
toc
disp(['总准确度是：' num2str(acc)])

运行结果分析：使用Kn近邻法时，程序运行效率略高于Parzen窗法，但分类性能较差。

三、各种算法性能对比

  到此，所有关于最小错误贝叶斯决策方法都已经为大家实现了，大家可以照着例子自行练习。所有实现的代码性能对比如下表：

  我们可以看出，非参数估计方法可以大大降低程序的耗时，不论是二分类还是多分类任务。但是从多分类任务来看，非参数估计的分类正确率不如参数估计。也就是说，非参数估计概率密度的方法不一定比参数估计优越。

四、总结与反思

  使用最小错误率的贝叶斯决策可以得到十分不错的性能——二分类100%的正确率和多分类最高77%的正确率，此外，贝叶斯决策是基于概率统计的决策方法，具有很好的可解释性，但是原理较为复杂，要理解贝叶斯决策方法，需要具备许多概率统计相关知识。目前看来，使用贝叶斯决策还有一个问题，即程序运行耗时长，效率不高——二分类参数估计方法大约耗时4s，非参数估计方法大约耗时1.5s，多分类参数估计方法大约耗时6min，非参数估计方法大约耗时3min。当然，这也可能与数据维数太高有一定的关系（190维）。
  目前看来，程序还有一些优化的地方：对于非参数估计的窗参数选择方面，还有很大的提升空间。非参数估计虽然程序运行耗时少，但是目前来看，分类性能却不及参数估计。如果修改非参数估计的窗（如修改Parzen窗的窗类型，窗的大小等），可能在分类正确率上还有提升空间。