《基于Python的支持向量机分类算法研究分析计算机科学与技术专业.docx》由会员分享，可在线阅读，更多相关《基于Python的支持向量机分类算法研究分析计算机科学与技术专业.docx（27页珍藏版）》请在课桌文档上搜索。
1、摘要在大数据盛行的时代背景下，机器学习这门学科的广泛应用。并且列举运用PythOn语言进行数据处理的优势，将其与传统语言进行对比，充分体现了PythOn语言在语言简洁，效率高等方面的优势。这也是本文最后选择PythOn语言实现SVM算法的主要原因。本文主体内容阐述了支持向量机算法(SVM)的基本内涵，并且用图示和数学方法形象具体讲解了SVM的基本原理。具体分析了SVM算法中线性可分数据、线性不可分数据和含有。Utlier点的数据集的分类方式。通过对偶问题求解法、核函数、及SMO算法等实现了对最优超平面的求解。并且完成了二分类问题向多标签分类问题的推广。文章通过，使用手写数字数据集在PythOn
2、上进行SVM模型的训练与测试，体会SVM算法如何解决实际问题。具体的表现了用Python语言实现SVM算法的优势，直观的展现了实验成果。关键字：机器学习PythonSVM最优超平而核函数AbstractIntheeraoftheprevalenceofbigdata,machinelearningiswidelyusedinthisdiscipline.AndenumeratetheadvantagesofusingPythonlanguagefordataprocessing,compareitwithtraditionallanguages,andfullyembodytheadvanta
3、gesofPythonlanguageintermsofsimplelanguageandhighefficiency.ThisisthemainreasonwhythisarticlechoosesthePythonlanguagetoimplementtheSVMalgorithm.ThemaincontentofthispaperexpoundsthebasicconnotationofSupportVectorMachine(SVM),andexplainsthebasicprincipleofSVMconcretelywithgraphicandmathematicalmethods
4、.TheclassificationOfIinearlyseparabledata,linearlyindivisibledata,anddatasetswithoutlierpointsintheSVMalgorithmisspecificallyanalyzed.Thesolutiontotheoptimalhyperplaneisachievedthroughthedualproblemsolvingmethod,kernelfunction,andSMOalgorithm.Andithascompletedthepromotionofthetwo-classificationprobl
5、emtothemulti-labelclassificationproblem.Passingtheendofthearticle,usingthehand-writtendigitaldatasettotrainandtesttheSVMmodelinPython,tounderstandhowtheSVMalgorithmsolvespracticalproblems.ThespecificperformanceoftheSVMalgorithmusingPythonlanguageadvantages,intuitivedisplayoftheexperimentalresults.Ke
6、ywords:machinelearning,Python,SVM,optimalhyperplane,kernelfunction第一章绪论1.1 机器学习随着互联网计算机技术的普及应用与发展，随处可见的数据信息数量日益庞大,数据与信息与人们的生活愈发的息息相关。数据量的不断扩大和信息获取方式的不断增多，带来了信息处理日益困难的问题。伴随着硬件性能的快速增长，人们寄希望于计算机可以帮助人类处理越来越庞大的数据。因此，机器学习在近年来得以迅速兴起与发展。机器学习(MaChineLeaming,ML)是集合了多种领域知识的一门学科，涵盖统计学、概率论、算法复杂度理论等多个领域。用于研究计算机通过
7、模拟人类的学习行为，并且由此去的新知识和技能的能力。机器学习是计算机人工智能的核心，被应用于人工智能的多个领域。顾名思义，机器学习是使用机器来模拟人类学习行为的一项技术。具体来说，机器学习是一门训练机器获取新知识或新技能，包括获取现有知识的学科。这里所说的“机器”，指的就是计算机、电子计算机、中子计算机、光子计算机或神经计算机等等。机器学习已经在很多领域进行了广泛应用，例如：计算机视觉、DNA序列测序、语音识别、手写识别、医学诊断。机器学习算法是一种能够从数据中进行持续学习的算法。MitChen(1997)为其提供了一个简洁的定义：对于某类任务T和性能度量P,一个计算机程序被认为可以从经验E中
8、学习是指，通过经验E改进后，它在任务T上由性能度量P衡量的性能有所提升。其中任务T指的是人们希望机器可以实现的功能。在分类、回归、异常检测、转录、机器翻译等任务上，机器学习已经有了广泛的应用。而获取经验E的过程可以分为无监督算法和有监督算法。两者的区别在于是否对数据集中的数据样本给予标签。1.2 支持向量机在监督学习中，支持向量机是影响力最大的机器学习方法之一。支持向量机由CorinnaCortes和Vapnik等人于1995年提出，其创新的核技术使其不再局限于对线性数据的处理，在对于非线性数据的分类上也有了良好的表现，并已被广泛应用于文本识别、手写字体识别、及时间序列预测等小型分类任务中。支
9、持向量机(SUPPortVectorMachines,SVM)这种机器学习方法是以统计学理论、VC维理论和结构风险最小化原理为基础的。在解决特定问题，如小样本、非线性和高维模式问题时表现优异，并且大大优化克服了机器学习中会遇到的“维数灾难”问题与“过学习”问题。SVM具有如下特点：(1)以非线性映射为理论基础，利用内积核函数实现由低维空间到高维空间的非线性映射。(2)以寻找最优超平面为目标，核心思想为最大化分类间隔。(3)以少数支持向量为训练结果，去除了大量冗余样本，具有良好的鲁棒性。(4)理论基础坚实、数学模型简单明了，可以归结为一个受约束的二次型规划(QuadraticProgrammin
10、g,QP)的求解问题。(5)可以运用牛顿法、内点法等经典优化算法，方便快捷地求得最优解。SVM作为一类二分类模型，可以处理以下三类数据：(1)线性可分数据。使硬间隔最大化，进行线性分类器学习(2)近似线性可分数据。使软间隔最大化，进行线性分类器学习(3)线性可分数据。使核函数与软间隔最大化，进行非线性分类器学习。平面内的直线，对应线性分类器；平面上的曲线，对应非线性分类器。硬间隔虽然可以将线性可分数据集中的样本正确分类，但是受到OUuier样本的很大影响，不推荐使用。软间隔可以对近似线性可分数据和非线性可分数据进行分类，离超平面很近的outlier点可以允许被错误分类，从而可以更广泛的应用。1
11、.3 Python语言PythOn这门语言已经产生并发展了30余年，是目前最受欢迎的程序设计语言，也是通用编程语言中最接近自然语言的。Python侧重于求解计算问题，其具有语法简单，语言表达层次高等特点，这与计算机问题解决中的思维理念相吻合。Python语言将问题和问题的解决方案进行简化，从而达到问题的自动化求解，是当下最直观的利用计算机解决复杂信息系统的工具。Python语言的适用群体广泛，任何需要使用计算机来解决计算问题的人群都可以使用，即使是非计算机专业从业人员。Python语言是一种轻化语法，弱化类型的计算机语言，同C语言等相比较，不需要指针和地址等计算机系统内必须的结构元素；可以不定
12、义变量就直接使用(解释器会自动匹配)；语言内部通过UTF-8编码来实现，字符串类型独立，操作多语言文本时，语言大大简化，可以优秀的支持中文；运用变长列表代替定长数组，可以将多种数据类型进行兼容并可以灵活地表示集合长度。PythOn语言除了有基本语法，还是一个脚本语言，直接运行源代码便可以执行，这可以让程序运行和源代码相融合。这种模式的优势在于：(1)有利于源代码维护。(2)可以跨操作系统操作。(3)可以实现代码的交流与设计。Python具有简洁的语言代码，能支持两种设计方法，即：面向过程与面向对象这两种设计方法，且不需要通过函数封装程序，因此代码长度仅为C语言代码长度的十分之一到五分之一。综合
13、以上所谈，总结PythOn语言的优点如下：(I)PythOn这种解释语言可大大方便编程。解释语言具有先天优势，即：不需要编译时间，可以大大提高工作效率。(2)PythOn有很多非常成熟的库可以利用，开发生态优秀。如：NumPy(存储和处理大型矩阵)、SciPy(高效的数学运算)、pandas(处理数据的函数和方法)、matplotlib(数据操作、聚合和可视化)等。(3)PythOn的运行效率不低。与PythOn友好的库可以提高程序运行的速度，在团队的有力支撑下，库的效率可比程序员用C语言调试优化一个月的效率还高。在本文中，介绍了支持向量机可解决的线性数据分类、近似线性数据分类和非线性数据分类
14、这三类问题，并且通过使用具有编写效率高、语言简洁和可直接使用的第三方支持库种类全面等特点的Python来实现SVM算法，快捷便利地实现数据样本的分类问题，展现了SVM与Python在机器学习方面的优势所在。1.4 论文主要研究内容本文分析了在信息化飞速发展的大数据背景下，运用Python语言处理数据的优势与可行性，重点讲解了SVM算法的基本原理，和在面临不同数据集的分类问题时所用的具体方法，对此进行了详尽的数学分析和原理阐述。并最终用PythOn语言实现了多标签的SVM分类训练。第二章支持向量机的原理2.1 线性可分问题对于一个给定的数据样本集D=O,yJ,(冗2，、2)，,Qn,%)，支持向
15、量机的基本原理就是要在给定的样本空间中找到一个超平面将不是同一类型类型的数据样本分开。如图2.1所示，在如下的二维平面中，将两种不是同一类型的数据分别用图形0和X进行表示，对于线性可分的两类数据，可以用一条直线将两类数据分开。这样的直线就是一个超平面。将这条直线一侧的数据点标记为y=-l,另一侧的数据点标记为y=lo如图2.2所示，在一个给定样本空间中，超平面可由式(21)表示：Wx+b=0(2-1)式中，用W=(W1；1%；Wd)表示超平面的法向量，位移项则用常数人表示。由法向量W和位移项人确定的划分超平面记为(W/)。对于数据集里任意数据点，当为二1时，有W7+b0,当时，有Wxi+bQ这
16、个函数意味着通过调整a的大小，使得F函数最大。当约束不满足时，即NX-b)0图2.6现有的目标函数式(212)为二次函数，约束条件为线性条件，该问题可以使用拉格朗日对偶性(LagrangeDUaIity)转换为优化对偶变量(DUalVariabIe)的问题。在约束条件前乘以拉格朗日乘子从而将目标函数与约束条件融合为一个函数表达式：L(Wt b, )=Iwll2n-W %(yt(w7*%t + 力)- 1) i=i(2-13)(2-14)令:(IV)=maxL(W,bta)iao当约束条件不被满足，即yt(W7+b)-IVO时，显然，B(W)=+8；当约束条件得到满足时，即yi(WGi+b)l0
17、时，6(卬)=等，因此：(IV)=0r(2-16)其中，户为问题的最优解，为方便求解，根据对偶性，将式(2-15)转换为:maxminL(W,b,)=dt,W,bo(2-17)其中，产为新式的最优值，且d*r总i=1=1为求得最优解,的偏导数都为0,即:(W = 1aiyixi F= % = O (C i = O(3-5)将解代入式(3-4)得目标函数:nW WaiTW孙 XPi=lnst1=1% = i = 1,2, .,n将式(36)与式(220)对比可知，含有outlier的分类问题中的火多了上限C的约束条件。而在核函数中也只需把孙勺替换成Kai,专)即可。综上所述，可以解决线性可分、线
18、性不可分和含有outlier点的三种SVM问题。3.3 高斯核函数与松弛变量的综合应用综合核函数与松弛变量的使用，可以更好的解决分类问题。如图3-5所示有若干红球与绿球，且个别红色小球混入了绿色小球堆中，而个别绿色小球混入了红色小球中。通过使用高斯核，获得超平面后映射回原空间中，得到曲线将两类小球分离，而通过引入松弛变量，允许有个别小球偏离超平面。在已经使用高斯核的基础上，选择不同的。和f可以获得不同的分类效果，观察图3.5(a)和图3.5(e)、图3.5(b)和图3.5、图3.5(C)和图3.5(g)、图3.5(d)和图3.5(h)四组图片可知，惩罚因子C越大，意味着对OUtIier点约重视
19、，越不愿意放弃OUtlier点；而观察图3.5(a)、图3.5(d)和图3.5(e)、图3.5(h)两组图片可知，。值越大，意味着outlier点的数量和GAP值越小。在实际应用中，需要选择合适的核函数、惩罚因子C与松弛变量的值以获得合适的超平面。30图 3.5(a)602图 3.5(b)高斯楂，C=1 0,高斯核，C=1.0, =100 0图 3.5(c)图 3.5(d)图 3.5(e)图 3.5(f)高斯核，C=5.0, =10.0高斯核.C=5.0, =100.0图 3.5(h)图3.5(g)相关代码如下所示。data-np.Ioadtxt(bipartition.txt,dtype-n
20、p.float,delimiter-t,),y-np.split(dataj(2,)jais*l)y=y.ravel()clf-para*(linear.l),(linear,.5),(linear,1),(linear,2)j(,rbf,f1,0.1),(,rbfI91),1.10),(,rbff1.Iee)I(rbf,5,1),(rbf,5,1),Crbf,5,10),(,rbf,5,Iee)XIJVinllsaa三:0.ain()j:,0.ma()2jin,2jb=x:ladn(),:jl.ma()二二百1,2-np.grid1-in:ima:2j1x2-in:2-a:2j/6Wgrid
21、testnp.stack(1.flat,2.flat),aisl)*dc三-light,up!.colors.ListedColornap(,t77EA*j,FFA0AO,)Cjdark=mpl.colors.ListedColoraap(grJ)pircParamsfornamsif三SimHei,mpl.rcParams,axes.unicodc_minus-Falseplt.figure(figsize(18,14J,facecolor-,w,)forijparaainenumerate(clf_para):clf三sv三.SVC(C=paraml,kernel三para0)ifpara
22、0*,rbf,:cH.garna-paran2title-高盛核，C三X.lf$xi$%.lf,%(paratnl/param2)else:title线性核,C三X.lfXparamlclf.fit(jy)y-hat=clf.predict()showaccuracy(yhat,y)W演“三prit(title)Print(支IJ向里的数目：，clf.n-support)PrirVt(支IT向里的系数：，clf.dualcoef)Print(支II向里：；clf.supportJpit.subplot(3%i+l)gridhatclf.predict(gridtest)grid-hot三gri
23、d-hat.reshape(xl.shope)pit.pcolormesh(l,2,grid-hat,Ce叩=CLlight,alpha0.8)pit.scatter(x:#0,x:f1,cy,edgecolors-,k,s40,cmapci_dark)pit.scatter(xclf.supports,clf.support-,1,edgecolors三k,facecolors*,none,s100,marker，。)z=cIf.decision-function(grid_test)prit(,zz)print(clf.decision,function(x)-,clf.decision-
24、function()print(,clf.predict(x)三,clf.predict()z三z.reshape(l.shape)pit.contour(1fx2,zcolors三list(,kbrbk),Iinestyles,-,-,-linewidths-lf.5,1.5,.S,1,levels-(-l-0.5,g.5,1)pitxli(xljnin,1-a)plt.yli(x2-mij2-ma)plt.title(title,fontsie三14)plsuptile(SVM不同爹数的分类,fontsize2)pltyi=y2经过上述约束条件的修剪即可获得最优解。2襁卬：newHq2ne
25、w,unclippedHnew,undippedLnew,unclippedVH1.q2new,unclippedL获得new后，根据。2海卬与a/ew的关系可以求得ajew的值:图36而b的值首先需满足如下条件：(3-16)Q,0a1newCb=b2,0a2eu,CE+b2)2,其他更新格式为：b1new=bozd-E1-y1(a1evv-a1ozd)K(xnx1)-y2(a2new-a2oid)K(xn%2)(3-17)b2new=bzd-F2-y1(a1-a1ofd)K(xnx2)-y2(a2n-a20id)K(%2,%2)(3-18)当与(X2更新后，匕和E的值也同时需要更新，当所有都
26、更新后，即可获得分类平面函数式(3-11)。以上所述为已选择两个乘子后，对两乘子的求解过程。而乘子的选择的步骤为:(1)扫描所有乘子，将第一个不满足KKT条件的乘子进行更新。(2)在所有满足KKT条件的乘子中寻找满足条件TnMEL助乘子作为第二个乘子进行更新。第四章SVM分类实例4.1使用Python运行SVM分类实例在前文中介绍了SVM分类算法的基本理论。SVM的基本思想为寻找样本空间的超平面并在最大化数据间隔的基础上进行分类。当处理非线性问题时，SVM引入了核函数，将低维数据映射至高维数据后使其变为线性可分后进行分类。考虑到数据样本中可能存在“噪声”，引入了松弛变量，使分类器有一定的容错能
27、力。本章通过使用mnist手写数字数据集在Python上进行SVM模型的训练与测试，体会SVM算法如何解决实际问题。Mnist手写数字数据集是机器学习的一个典型数据集，其数据来源于250个不同的人的手写数字，共包含70000张28*28像素的图片。如图4/所示为一个典型的手写数字，对于人眼而言可以轻易地识别出该数字为“0”一一高度比宽度稍长的一个椭圆。然而对于计算机而言很难将人类的这种直观感受用算法表达出来。O图4.1手写数字图表4.1分类器结果实际值预测值PositiveNegative正TPFN负FPTN机器学习通过大量样本学习认知规律这一方法与人类类似，但其具体地学习认知规律的过程与人类
28、有所不同。对于SVM,解决本问题的思路是首先读取大量带有标签的手写数字，之后寻找出可将不同标签数据进行分类的超平面，即获得了预测函数可以识别出新的手写数字的规则。此外，随着样本数量的增加，SVM可以学习到更准确地认知规律。然而，当样本数过多时，也可能出现过拟合的情况，即模型过度地拟合了训练数据，而对于测试数据而言，其分类效果却较差。图4.2为样本集中的部分图像，由于mnist手写数字数据集原始数据为图像，而SVM无法识别图像，因此首先对数据进行预处理。原始图像为28X28灰度图，其每一个像素为一个0255的灰度值，O为纯黑，255为纯白。因此将读取灰度图的每一个像素的灰度值，并将其存入一个1X785的一维数组中（第一个元素为标签），则数据就由图像转为了数据，之后将所有训练数据与测试数据分别保存至CSV文件中。训练图片：0O010201020训练图片2IIO 10 20训练图片6IIIO20O 1020测试图片 010 2001020
