《模式识别练习题(简答和计算)汇总.docx》由会员分享，可在线阅读，更多相关《模式识别练习题(简答和计算)汇总.docx（13页珍藏版）》请在课桌文档上搜索。
1、1、试说明Mahalanobis距离平方的定义，到某点的Mahalanobis距离平方为常数的轨迹的几何意义，它与欧氏距离的区别与联系。答：MahaIanObiS距离的平方定义为：厂(X,)=(Xi)，Zx-u)其中X,U为两个数据，是一个正定对称矩阵(一般为协方差矩阵)。根据定义，距某一点的MahalanobiS距离相等点的轨迹是超椭球，如果是单位矩阵,则Mahalanobis距离就是通常的欧氏距离。2、试说明用监督学习与非监督学习两种方法对道路图像中道路区域的划分的基本做法，以说明这两种学习方法的定义与它们间的区别。答：监督学习方法用来对数据实现分类，分类规则通过训练获得。该训练集由带分类
2、号的数据集组成，因此监督学习方法的训练过程是离线的。非监督学习方法不需要单独的离线训练过程，也没有带分类号(标号)的训练数据集，一般用来对数据集进行分析，如聚类，确定其分布的主分量等。就道路图像的分割而言，监督学习方法则先在训练用图像中获取道路象素与非道路象素集，进行分类器设计，然后用所设计的分类器对道路图像进行分割。使用非监督学习方法，则依据道路路面象素与非道路象素之间的聚类分析进行聚类运算，以实现道路图像的分割。3、已知一组数据的协方差矩阵为1：),试问(1)协方差矩阵中各元素的含义。(2)求该数组的两个主分量。(3)主分量分析或称K-L变换，它的最佳准则是什么？(4)为什么说经主分量分析
3、后，消除了各分量之间的相关性。答：协方差矩阵为(11/2|,则11/21J(1)对角元素是各分量的方差，非对角元素是各分量之间的协方差。(2 =0 得(2 1)2 =1/4,则 -A-I(2)主分量，通过求协方差矩阵的特征值，用21/2,fn1=,相应地：2=3/2,对应特征向量为，=-13/22这两个特征向量，即为主分量。(3) K-L变换的最佳准则为:对一组数据进行按一组正交基分解，在只取相同数量分量的条件下，以均方误差计算截尾误差最小。(4)在经主分量分解后，协方差矩阵成为对角矩阵，因而各主分量间相关性消除。4、试说明以下问题求解是基于监督学习或是非监督学习：(1)求数据集的主分量(2)
4、汉字识别(3)自组织特征映射(4) CT图像的分割(5) 1)求数据集的主分量是非监督学习方法；(2)汉字识别：对待识别字符加上相应类别号一有监督学习方法；(3)自组织特征映射一将高维数组按保留近似度向低维映射一非监督学习；(4) CT图像分割一按数据自然分布聚类一非监督学习方法；5、试列举线性分类器中最著名的三种最佳准则以及它们各自的原理。答：线性分类器三种最优准则：Fisher准则：根据两类样本一般类内密集，类间分离的特点，寻找线性分类器最佳的法线向量方向，使两类样本在该方向上的投影满足类内尽可能密集，类间尽可能分开。这种度量通过类内离散矩阵Sw和类间离散矩阵Sb实现。感知准则函数：准则函
5、数以使错分类样本到分界面距离之和最小为原则。其优点是通过错分类样本提供的信息对分类器函数进行修正，这种准则是人工神经元网络多层感知器的基础。支持向量机：基本思想是在两类线性可分条件下，所设计的分类器界面使两类之间的间隔为最大，它的基本出发点是使期望泛化风险尽可能小。6、试分析五种常用决策规则思想方法的异同。答、五种常用决策是：1 .基于最小错误率的贝叶斯决策，利用概率论中的贝叶斯公式，得出使得错误率最小的分类规则。2 .基于最小风险的贝叶斯决策，引入了损失函数，得出使决策风险最小的分类。当在0-1损失函数条件下，基于最小风险的贝叶斯决策变成基于最小错误率的贝叶斯决3 .在限定一类错误率条件下使
6、另一类错误率最小的两类别决策。4 .最大最小决策：类先验概率未知，考察先验概率变化对错误率的影响，找出使最小贝叶斯奉献最大的先验概率，以这种最坏情况设计分类器。5 .序贯分类方法，除了考虑分类造成的损失外，还考虑特征获取造成的代价，先用一部分特征分类，然后逐步加入性特征以减少分类损失，同时平衡总的损失，以求得最有效益。7、1.什么是特征选择？2.什么是FiSher线性判别？答：1.特征选择就是从一组特征中挑选出一些最有效的特征以达到降低特征空间维数的目的。2.FiSher线性判别：可以考虑把d维空间的样本投影到一条直线上，形成一维空间，即把维数压缩到一维，这在数学上容易办到，然而，即使样本在d
7、维空间里形成若干紧凑的互相分得开的集群，如果把它们投影到一条任意的直线上，也可能使得几类样本混在一起而变得无法识别。但是在一般情况下，总可以找到某个方向，使得在这个方向的直线上,样本的投影能分开得最好。问题是如何根据实际情况找到这条最好的、最易于分类的投影线，这就是FiSher算法所要解决的基本问题。8、写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。两类问题：判别函数%()=41p(MX)+4zP(同X)g23)=P(Wik)+42P(同力)决策面方程：g(x)=(X)C类问题：判别函数(x)=p(vvyx),z=1,2,.c决策面方程:gfG)=gj(x),z,/=1,2,.c
8、9j=1,2,.c9、请论述模式识别系统的主要组成部分及其设计流程，并简述各组成部分中常用方法的主信息获取：通过测量、采样和量化，可以用矩阵或向量表示二维图像或波形。预处理：去除噪声，加强有用的信息，并对输入测量仪器或其他因素造成的退化现象进行复原。特征选择和提取：为了有效地实现分类识别，就要对原始数据进行变换，得到最能反映分类本质的特征。分类决策：在特征空间中用统计方法把识别对象归为某一类。10、简述支持向量机的基本思想。答：SVM从线性可分情况下的最优分类面发展而来。最优分类面就是要求分类线不但能将两类正确分开(训练错误率为0),且使分类间隔最大。SVM考虑寻找一个满足分类要求的超平面，并
9、且使训练集中的点距离分类面尽可能的远，也就是寻找一个分类而使它两侧的空白区域(margin)最大。过两类样本中离分类面最近的点，且平行于最优分类面的超平面上Hi,H2的训练样本就叫支持向量。四、计算题1、设两类样本的类内散布矩阵分别为Sl=:,S2=:一次,两类的类心分别为m=(2,0),m2=(2,2),试用fisher准则求其决策面方程。颔CC1010一解：SHI=I(Sl+$2)=0I,Sw=0(j0、d(x)=(西一YS二(x-色罗)=(0,-2)(x1-2,x2-1)=-2x2+2d(幻I0njf1,或写出决策面方程d(x)=-x2+1=02、已知两个一维模式类别的类概率密度函数为:
10、x Oxlpxlx) = 2-x 1 x 2O 其它x-1 lx2p(x2) = 3-x O2x3其它先验概率 P()=0.6, P(2)=0.4,(1)求O-1代价Bayes判决函数；(2)求总错误概,率P(e);(3)判断样本x=1.35, X2=L45, X3=1.55, X4=1.65各属于哪一类别。答：(1)基于0-1代价BayeS判决函数为:当 P(XQ)、丝也=，0.67p(x2)二尸(Gl) 0.6 3时，X W1 ,否则X 吗,总的误判概率P(e)为:P(e)=P(y)*p(xIdx+P(2)*p(x2)dx21.6=0.6*j(2-x)dx+0.4*J(x-)dx1.61=
11、0.12(3)X1=1.35,px1)1p(x0.67,所以王不x2=1.45,p(xi)/p(x2)=0.55/0.451.220.67,所以x3=1.55,P(Xl691)/P(Xl(D2)=0.45/0.550.820.67,所以工“x4=1.65,p(xi)/p(x2)=0.35/0.650.54p(w2x)=0.375,所以把X归为正常状态。(2)根据条件和上面算出的后脸概率，计算出条件风险：2R(%上)=Zljp(wjx)=lip(w1x)+12p(w2x)=3.125j=2R(%k)=Z4jP(%k)=41P(Wlk)兀22(卬22卜)=L75j=l由于R(aR(%k),即决策为
12、卬2的条件风险小于决策为小的条件风险，因此采取决策行动出,即判断待识别的细胞X为卬2类异常细胞。将(1)与(2)相对比，其分类结果正好相反，这是因为这里影响决策结果的因素又多了一个，即“损失”；而且两类错误决策所造成的损失相差很悬殊，因此“损失”起了主导作用。4、有两类样本集x；=0,0,0r,xi2=1,0,0,=1,0,U,=1,1,01=0,0,lr,=0,1,0t,=0,1,1,=1,1,1t(1)用K-L变换求其二维特征空间，并求出其特征空间的坐标轴;(2)使用FiSher线性判别方法给出这两类样本的分类面。解：EXX=-xixr8,0.250.250.5其对应的特征值和特征向量为:
13、0.50.25EfXX7I=0.250.50.250.25Iff3 -26 。=一 一Ool50 2 0O5.2o O -O=A对应的坐标:0小：02-1.访,降到二维空间，取f广过2夜 一 - 一 一 If( - 一3jl613*63 3 0 rn =0.750.250.250.25W2=0.750.759331111131616161616161616163111111113161616十161616十1616163111113391616161616161616164Sl=Z(xi-S)(X-W1)7=lJ_Te33169_1_T6_3_34j_j_43O1616444131113-,、
14、(0,l)o解：第一步：由题意知C=2,初始聚类中心为Zlo=(O,O)Z2o=(O,l)第二步：x-Zo=(O,O)-(0,0)=0x1-Z20=(O,O)-(0,1)t=1因为IlXl-ZK)IlVIlX卜Z20,所以XiIIx2-Z1OII=II(OJ)-(0,0)=l2-Z2o=(O,l)-(OJ)t=0因为x2-ZIoIIX2Z2o,所以x22同理因为X3Zio=512X3Z2o=2,所以32因为X4-ZloIl=812X4Z2o=512,所以42x52,X6由此得到新的类：=xi,X6Ni=2,2=x2,X3,X4,X5N2=4第三步：根据新分成的两类计算新的聚类中心Zi=(xi+
15、x6)2=(0.5,0)tZ21=(x2+x3+x4+x5)4=(l.75,2.25)第四步：因为新旧聚类中心不等，转第二步第二步：重新计算XI,X2,X3,X4,X5,X6到Zll、Z12的距离，把它们归为最近聚类中心，重新分为两类=xi,X2,X6Nl=3,2=x3,X4,X5N2=3第三步：根据新分成的两类计算新的聚类中心Zi2=(x+x2X6)3=(l3,13)tZ22=(x3+x4+x5)3=(73,83)第四步：因为新旧聚类中心不等，转第二步重新计算XI,X2,X3,X4,X5,X6到Zl2、Z22的距离，把它们归为最近聚类中心，重新分为两类=xi,X2,X6,Nl=3,i=X3,
16、X4,X5,N2=3和上次聚类结果一样，计算结束。7已知二维样本:x1=(-l,O),x2=(0,-1),x3=(0,0),工4=(2,0)丁和兄=(。，2)不12。1，x3,x4,x5ty20试用感知器算法求出分类决策函数，并判断工6=(2,1)T属于哪一类？答：将样本符号规范化得：x1=(-l,0,l),i2=(0,-l,l),x3=(0,0,-l),月=(-2,0,-1)T和兀=(0,-2,-I)1赋初值卬=(1,1,1)取增量2=1,置迭代步数k=l,则有：k=l,d(xk)=w(k)xk=0,h0,vv(3)=w(2)k=3,%=与，d(xk)=wr(k)xk=-20,m4)=w(3
17、)+x3=(0,1,l)rk=4,XJt=X4，d(xk)=w()xa,=-10,pv(5)=pv(4)+x4=(-2,1,0/k=5,XJt=X5，d(xk)=w(k)xf,=-20,vv(7)=w(6)k=7,Xa=X2，d(xk)=w(k)xk=0,m0,W(IO)=W(9)k=10,XLX5,d(xk)=wr(k)xf,=50,w(l1)=w(10)k=ll,Xk=x，d(xk)=w(k)xk=10,12)=w0,m0,做14)=J(y2),所以选最佳变换矩阵为W=i=(0.7070707)F面依据务和务作DKLTr进行最优特征提取Q此时邛2=044712=0.707B=UKJ.7O7
18、一,0.7070.707Y0.447-0.707000.3160.707)一10.3160.5、-0.5y刷新(E)1.896、对a进行白化变换：，(3.6Sh=B1ShB=U896Sb=BSbB=3.6J.8961.896、司的非零特征值只有一个，=4.6对应的特征矢量为1三(0.884,0.466/总的最优变换为：W=B%=(0.512,0.04679、设语言L(G)的正样本集R+=101,111,试推断出余码文法Gs解：第一步：由五十得GC的终止符集Fr,为勺=0,1。第二步：求出犬的全部余码，并组成非终止符集八TT的全部余码为DR+=101,111,D1R+=OL11OK)H+=1,DnR+=1DmR+=9DmR+=合并：S=D衣=10lll),Ui=DlR+=0lllfU2=DiqR+=1所以4=S,t715t72第三步：建立生成式集PU由Z)IS=UI，有生成式S1U;由DlUI=U2,有生成式UItZ2；由。14=九，有生成式4h由DoUl=4有生成式UQU2O余码文法GjGc=(G%,P,S),Vn=S9U19U29Vt=051PSItZ1,U1lt2,U1OtZ2,U21
