《基于静态帧的部件运动性预测方法.docx》由会员分享，可在线阅读，更多相关《基于静态帧的部件运动性预测方法.docx（25页珍藏版）》请在课桌文档上搜索。
1、PATEXPLRER专利探索者一全球创新始于探索基于静态帧的部件运动性预测方法申请号：CN.1申请日：20170831申请（专利权）人：深圳大学地址：广东省深圳市南山区南海大道3688号发明人：胡瑞珍,黄惠主分类号：G06T7/20公开（公告）号：CNB公开（公告）日：20200110代理机构：北京三友知识产权代理有限公司代理人：王涛,汤在彦(19)中华人民共和国国家知识产权局(10)授权公告号CNB(45)授权公告日20200110(21)申请号CN.1(12)发明专利(22)申请日20170831(71)申请人深圳大学地址广东省深圳市南山区南海大道3688号(72)发明人胡瑞珍，黄惠(74
2、)专利代理机构北京三友知识产权代理有限公司代理人王涛，汤在彦(54)发明名称基于静态帧的部件运动性预测方法$的立项方氏对：地彩状中的每个t.MkPtf s20, 出&个如兀.内嵌据占地先M“师”心动手心4行外分.V情U依分IW已为妥个狡，儿X建(57)摘要本发明提供了一种基于静态帧的部件运动性预测方法，包括：根据物体的运 动方式对一组三维形状中的每一个三维形 状中构建出多个运动单元，并根据运动类 型对所有运动单元进行划分；计算每一运 动单元中静态帧的帧描述子；根据运动单 元的每一运动类型，学习出每一运动类型 的运动单元中的静态帧到不同运动单元的 距离函数；根据待查询的静态帧，利用距 离函数选择
3、与待查询的静态帧距离值最小 的运动单元，得到该运动单元及其运动类 型；根据待查询的静态帧及得到的运动单 元及其运动类型生成多组候选的运动，对 候选的运动进行采样，得到可应用于待查 询的静态帧的最佳运动参数。本发明可以 预测出现在物体静态帧上静态部件的运 动。WX*尔几的何更中.H用中N学。“出M 类型的汇刈单元中的辟占务到不同恒动元的浑ArRS2O22(klH在由的怜依.利用所V真力数比样，所注代介门的AJ4SM&JSfAJft外的运动运动中儿/Uls0大P出依隅洋小代甫的静金做小儿及NK淤Pl改JS*/做送出动.所菱Ka的ts*lh联样,t5Jn.应UH场域-J 希夕附的静的AMt诏动少看权
4、利要求书L一种基于静态帧的部件运动性预测方法，其特征在于，包括:根据物体的运动方式对一组三维形状中的每一个三维形状构建出多个运动单元，并根据运动类型对所有运动单元进行划分，每一三维形状分割为多个独立几何部件，所述运动单元中包括多个静态帧，所述运动单元的划分基于运动参数，所述运动参数包括：运动类型、候选轴的方向参数、候选轴的位置参数及范围参数；计算每一运动单元中静态帧的帧描述子，所述帧描述子以多个多维的几何特征表示，描述了静态帧中的运动部件与参考部件的交互及所述运动部件与参考部件的位置关系：根据运动单元的每一运动类型，利用度量学习方法，学习出每一运动类型的运动单元中的静态帧到不同运动单元的距离函
5、数；根据待查询的静态帧，利用所述距离函数选择与所述待查询的静态帧距离值最小的运动单元，得到该运动单元及其运动类型；根据所述待查询的静态帧及得到的运动单元及其运动类型生成多组候选的运动，对所述候选的运动进行采样，得到可应用于所述待查询的静态帧的最佳运动参数。2 .根据权利要求1所述的基于静态帧的部件运动性预测方法，其特征在于，所述运动单元中的多个静态帧中包括初始静态帧及末尾静态帧。3 .根据权利要求1所述的基于静态帧的部件运动性预测方法，其特征在于，还包括：根据运动部件的运动时间对所述运动单元中的多个静态帧进行排序。4 .根据权利要求1所述的基于静态帧的部件运动性预测方法，其特征在于，所述运动参
6、数包括：运动类型、平移轴或旋转轴的主方向、平移轴或旋转轴所处的位置、运动范围。5 .根据权利要求1所述的基于静态帧的部件运动性预测方法，其特征在于，计算每一运动单元中静态帧的帧描述子，包括：利用交互二分面捕获运动部件与参考部件的交互及部件表面与所述交互二分面相关联的交互区域；利用关系增强图像描述子表示运动部件与参考部件间的相对位置关系。6 .根据权利要求5所述的基于静态帧的部件运动性预测方法，其特征在于，利用关系增强图像描述子表示运动部件与参考部件间的相对位置关系，包括：将关系增强图像描述子在二维中的像素替换成三维中的体素，并将二维中的圆替扩展为三维中的球体；使用三维空间中三个相互正交的平面对
7、球体的空间进行分割，并按球体的半径将球体划分为内部球体和外部球体，得到16个空间划分。7 .根据权利要求1所述的基于静态帧的部件运动性预测方法，其特征在于，根据运动单元的每一运动类型，利用度量学习方法，学习出每一运动类型的运动单元中的静态帧到不同运动单元的距离函数，包括：采用度量学习方法，在两种类型约束条件下，根据运动单元中静态帧的几何特征,学习出每一运动类型的运动单元中的静态帧到不同运动单元的距离函数；所述约束条件包括：静态帧与相同运动类型的运动单元之间的距离应更近于到其它不同运动类型的运动单元之间的距离：静态帧与相同运动类型的运动单元之间的距离小于静态帧与不同运动类型的运动单元之间的距离。
8、8 .根据权利要求7所述的基于静态帧的部件运动性预测方法，其特征在于，还包括：根据运动单元的运动类型将相似的运动单元进行分组。9 .根据权利要求1所述的基于静态帧的部件运动性预测方法，其特征在于，还包括：构建静态帧到运动单元的距离模型：其中，和分别是运动单元Uj的初始静态帧和末尾静态帧，In表示每一个运动单元中静态帧的数量，为运动单元中任一静态帧，是每一个运动单元中两个静态帧之间的距离。10 .根据权利要求9所述的基于静态帧的部件运动性预测方法，其特征在于，根据待查询的静态帧，利用所述距离函数选择与所述待查询的静态帧距离值最小的运动单元，得到该运动单元及其运动类型，包括：利用所述距离模型比较所
9、述待查询的静态帧到构建出的运动单元的距离，选择与所述待查询的静态帧距离值最小的运动单元。11 .根据权利要求9所述的基于静态帧的部件运动性预测方法，其特征在于，根据所述待查询的静态帧及得到的运动单元及其运动类型生成多组候选的运动，对所述候选的运动进行采样，得到可应用于所述待查询的静态帧的最佳运动参数，包括：根据所述待查询的静态帧生成初始候选的运动参数；根据所述初始候选的运动参数，生成出多个候选的运动，采样出每个运动的一组静态帧；计算每一组静态帧中静态帧到选择出的运动单元之间的距离之和，通过距离最小的一组静态帧确定最佳运动参数；利用所述最佳运动参数定义所述待查询的静态帧的运动。12 .根据权利要
10、求11所述的基于静态帧的部件运动性预测方法，其特征在于，所述最佳运动参数的运动类型与所选择的运动单元的运动类型一致。13 .根据权利要求11所述的基于静态帧的部件运动性预测方法，其特征在于，根据所述初始候选的运动参数，生成出多个候选的运动，采样出每个运动的一组静态帧,包括：利用不同的候选轴，为所述待查询的静态帧生成额外的静态帧；将所述额外的静态帧基于运动轴和变换类型在所述待查询的静态帧的两侧进行扩展；对扩展之后的静态帧进行有效性判断；将扩展之后得到的有效的静态帧组合为每个运动的一组静态帧。14 .根据权利要求13所述的基于静态帧的部件运动性预测方法，其特征在于，将所述额外的静态帧基于运动轴和变
11、换类型在所述待查询的静态帧的两侧进行扩展，包括：对于平移运动，从所述待查询的静态帧开始将运动部件沿着平移轴的两个可能方向进行平移运动；对于旋转运动，围绕所述待查询的静态帧上的旋转轴让部件按着两个旋转方向进行旋转。15 .根据权利要求13所述的基于静态帧的部件运动性预测方法，其特征在于，对扩展之后的静态帧进行有效性判断，包括：对于运动部件与参考部件碰撞的情况，判断大部分的交互是否局限在参考部件的交互区域上，如果是，则静态帧有效；对于运动部件与参考部件没有碰撞的情况，判断运动部件和参考部件之间最近距离是否小于设定阈值的两倍，如果是，则该静态帧有效。16 .一种计算机设备，包括存储器、处理器及存储在
12、存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：根据物体的运动方式对一组三维形状中的每一个三维形状构建出多个运动单元，并根据运动类型对所有运动单元进行划分，每一个三维形状分割为多个独立几何部件,所述运动单元中包括多个静态帧，所述运动单元的划分基于运动参数，所述运动参数包括：运动类型、候选轴的方向参数、候选轴的位置参数及范围参数；17 .一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：说明书基于静态帧的部件运动性预测方法技术领域本发明是关于三维物体功能性预测技术，特别是关于一种基于静态帧的部件运动
13、性预测方法。背景技术目前，在形状分析研究领域，研究从三维物体的几何和交互中获得其功能性的理解不断增多。在这一背景下，一个物体的功能性是通过分析人类或虚拟主体是如何与该物体进行可能的交互，以及邻近物体是如何从几何上与该物体相关得到的。通常，这类知识是从物体及其周围环境的静态帧中获得，例如：一个人坐在一张椅子上或桌子上摆放着几个物体。在最初的尝试中，Pirk等人1通过捕获和分析动态物体的轨迹,如运动主体尝试坐在椅子上的动作轨迹，来描述了物体的功能性。然而，先前所有的这些工作，其中心物体仍维保持其刚性。为了解决上述问题，现有技术采用了来自静态帧中的物体功能性分析方法，具体包括如下几种：基于功能可见性
14、的方法模拟了人预测物体的功能性23,或者识别场景中能让人执行特定动作的区域45。利用交互上下文描述子6和为不同类别物体学习出的功能性模型7进行分析，这两种方法考虑了更一般的物体与物体之间的交互。虽然上述的部分方法(2345)中包含了人类的动态交互，但并没有扩展到更一般的物体功能可见性类型中。而上述部分方法(67)中，物体到物体的交互本质上都是静态的。为了解决上述问题，现有技术还采用了来自动态交互的物体功能性分析方法。其中，Pirk等人1实现了从动态交互数据中预测功能性，通过分析动态交互来描述一个静态物体的功能性，例如：在喝咖啡时，一个杯子是如何被使用的。该方法中被分析的物体自身并不是动态的，因
15、而他们的分析实现在物体层次，也不是本发明中的部件层次。另外，也有一系列工作的目标在于捕获动态交互，如Kry和DineSh8提出了捕获手部交互的细节的方法。该方法专注于使用特殊的硬件来捕获交互，而并没有利用动作信息来表达功能性。在这，还有一些关于捕获工具的功能性工作9或者表达一般人类交互的工作10。然而这些工作的关注点在于识别，所以导出的功能性表达的目的并不是为了分类和转译部件的运动性。为了解决上述问题，现有技术还进行室内场景中的部件运动性分析。Sharf等人11建立了一个运动树结构来概括室内场景中物体或部件的支持关系以及它们之间相对的运动性。该方法中，首先，输入的场景分析用于搜索重复的物体或部
16、件。然后，对给定的一个模型以独特的设置进行检测，该方法检测出模型可能包含的运动。该方法中的一个局限是依赖于输入场景中重复模型的出现，并以不同的运动状态出现，例如：处于打开或闭合状态的抽屉。因此，检测出的运动性不能被简单地转移到场景中没有出现过的物体，因为运动都是对于每个实例被单独地检测出来的。参考文献(如专利/论文/标准)lPirkS,KrsV,HuK,etal.UnderstandingandExploitingObjectInteractionLandscapesJ.arXivpreprintarXiv:1609.08685,2016.2GrabnerH,GallJ,VanGoolLWha
17、tmakesachairachair?C/ComputerVisionandPatternRecognition(CVPR),201IIEEEConferenceon.IEEE,2011:1529-1536.3KimVG,ChaudhuriS,GuibasL,etal.Shape2pose:Human-centricshapeanalysisJ.ACMTransactionsonGraphics(TOG),2014,33(4):120.4SavvaM,ChangAX,HanrahanP,etal.SceneGrok:Inferringactionmapsin3DenvironmentsJ.AC
18、Mtransactionsongraphics(TOG),2014,33(6):212.5SavvaM,ChangAX,HanrahanP,etal.PiGraphsiLearninginteractionsnapshotsfromobservationsJ.ACMTransactionsonGraphics(TOG),2016,35(4):139.6IIuR,ZhuC,vanKaick0,etal.Interactioncontext(icon):TowardsageometricfunctionalitydescriptorJ.ACMTransactionsonGraphics(TOG),
19、2015,34(4):83.7HuR,vanKaick0,WuB,etal.LearninghowobjectsfunctionviacoanalysisofinterectionsJ.ACMTransactionsonGraphics(TOG),2016,35(4):47.8KryPG,PaiDK.InteractioncaptureandsynthesisC/ACMTransactionsonGraphics(TOG).ACM,2006,25(3):872-880.9ZhuY,ZhaoY,ChunZhuS.Understandingtools:Task-orientedObjectmode
20、ling,learningandrecognitionC/ProceedingsoftheIEEEConferenceOnComputerVisionandPatternRecognition.2015:2855-2864.10WeiP,ZhaoY,ZhengN,etal.Modeling4dhuman-objectinteractionsforjointeventsegmentation,recognition,andobjectlocalizationJ.IEEEtransactionsonpatternanalysisandmachineintelligence,2016.11Sharf
21、A,HuangH,LiangC,etal.Mobility-TreesforIndoorScenesManipulationC/ComputerGraphicsForum.2014,33(1):2-14.12SchultzM,JoachimsT.LearningaDistanceMetricfromRelativeComparisonsC/NIPS.2003,1:2.13FishN,AverkiouM,VanKaick0,etal.Meta-representationofshapefamiliesJ.ACMTransactionsonGraphics(TOG),2014,33(4):34.发
22、明内容本发明实施例提供了一种基于静态帧的部件运动性预测方法，以通过少数运动单元的静态帧学习出运动性模型，预测出现在物体静态帧上静态部件的运动。为了实现上述目的，本发明实施例提供了一种基于静态帧的部件运动性预测方法,包括：根据物体的运动方式在一组分割为多个独立几何部件的三维形状中的每一三维形状中构建出多个运动单元，并根据运动类型对所有运动单元进行划分，所述运动单元中包括多个静态帧，所述运动类型的划分基于运动参数；所述运动参数包括：运动类型、候选轴的方向参数、候选轴的位置参数及范围参数；计算每一运动单元中静态帧的帧描述子，所述帧描述子以多个多维的几何特征表示，描述了静态帧中的运动部件与参考部件的交
23、互及所述运动部件与参考部件的位置关系：根据运动单元的每一运动类型，利用度量学习方法，学习出每一运动类型的运动单元中的静态帧到不同运动单元的距离函数；根据待查询的静态帧，利用所述距离函数选择与所述待查询的静态帧距离值最小的运动单元，得到该运动单元及其运动类型；根据所述待查询的静态帧及得到的运动单元及其运动类型生成多组候选的运动，对所述候选的运动进行采样，得到可应用于所述待查询的静态帧的最佳运动参数。一实施例中，所述运动单元中的多个静态帧中包括初始静态帧及末尾静态帧。一实施例中，还包括：根据运动部件的运动时间对所述运动单元中的多个静态帧进行排序。一实施例中，所述运动参数包括：运动类型、平移轴或旋转
24、轴的主方向、平移轴或旋转轴所处的位置、运动范围。一实施例中，计算每一运动单元中静态帧的静态帧描述子，包括：利用交互二分面捕获运动部件与参考部件的交互及部件表面与所述交互二分面相关联的交互区域；利用关系增强图像描述子表示运动部件与参考部件间的相对位置关系。一实施例中，利用关系增强图像描述子表示运动部件与参考部件间的相对位置关系，包括：将关系增强图像描述子在二维中的像素替换成三维中的体素，并将二维中的圆替扩展为三维中的球体；使用三维空间中三个相互正交的平面对球体的空间进行分割，并按球体的半径将球踢划分为内部球体和外部球体，得到16个空间划分。一实施例中，根据运动单元的每一运动类型，利用度量学习方法
25、，学习出每一运动类型的运动单元中的静态帧到不同运动单元的距离函数，包括：采用度量学习方法，在两种类型约束条件下，根据运动单元中静态帧的几何特征,学习出每一运动类型的运动单元中的静态帧到不同运动单元的距离函数：所述约束条件包括：静态帧与相同运动类型的运动单元之间的距离应更近于到其它不同运动类型的运动单元之间的距离：静态帧与相同运动类型的运动单元之间的距离应该小于静态帧与不同运动类型的运动单元之间的距离。一实施例中，还包括：根据运动单元的运动类型将相似的运动单元进行分组。一实施例中，还包括：构建静态帧到运动单元的距离模型：其中，和分别是运动单元uj的初始静态帧和末尾静态帧，m表示每一个运动单元中静
26、态帧的数量，为运动单元中任一静态帧，是每一个运动单元中两个静态帧之间的距离。一实施例中，根据待查询的静态帧，利用所述距离函数选择与所述待查询的静态帧距离值最小的运动单元，得到该运动单元及其运动类型，包括：利用所述距离模型比较所述待查询的静态帧到构建出的运动单元的距离，选择与所述待查询的静态帧距离值最小的运动单元。一实施例中，根据所述待查询的静态帧及得到的运动单元及其运动类型生成多组候选的运动，对所述候选的运动进行采样，得到可应用于所述待查询的静态帧的最佳运动参数，包括：根据所述待查询的静态帧生成初始候选的运动参数；根据所述初始候选的运动参数，生成出多个候选的运动，采样出每个运动的一组静态帧：计
27、算每一组静态帧中静态帧到预测出的运动单元之间的距离之和，通过距离最小的一组静态帧确定最佳运动参数；利用所述最佳运动参数定义所述待查询的静态帧的运动。一实施例中，所述最佳运动参数的运动类型与所预测的运动单元的运动类型一致。一实施例中，根据所述初始候选的运动参数，生成出多个候选的运动，采样出每个运动的一组静态帧，包括：利用不同的候选轴，为所述待查询的静态帧生成额外的静态帧；将所述额外的静态帧基于运动轴和变换类型在所述待查询的静态帧的两侧进行扩展；对扩展之后的静态帧进行有效性判断：将扩展之后得到的有效的静态帧组合为每个运动的一组静态帧。一实施例中，将所述额外的静态帧基于运动轴和变换类型在所述待查询的
28、静态帧的两侧进行扩展，包括：对于平移运动，从所述待查询的静态帧开始将运动部件沿着平移轴的两个可能方向进行平移运动；对于旋转运动，围绕所述待查询的静态帧上的旋转轴让部件按着两个旋转方向进行旋转。一实施例中，对扩展之后的静态帧进行有效性判断，包括：对于运动部件与参考部件碰撞的情况，判断大部分的交互局限是否在参考部件的交互区域上，如果是，则静态帧有效；对于运动部件与参考部件没有碰撞的情况，判断运动部件和参考部件之间最近距离是否小于设定阈值的两倍，如果是，则该静态帧有效。为了实现上述目的，本发明实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行
29、所述计算机程序时实现以下步骤：根据物体的运动方式在一组分割为多个独立几何部件的三维形状中的每一三维形状中构建出多个运动单元，并根据运动类型对所有运动单元进行划分，所述运动单元中包括多个静态帧，所述运动类型的划分基于运动参数；所述运动参数包括：运动类型、候选轴的方向参数、候选轴的位置参数及范围参数；计算每一运动单元中静态帧的帧描述子，所述帧描述子以多个多维的几何特征表示，描述了静态帧中的运动部件与参考部件的交互及所述运动部件与参考部件的位置关系；根据运动单元的每一运动类型，利用度量学习方法，学习出每一运动类型的运动单元中的静态帧到不同运动单元的距离函数：根据待查询的静态帧，利用所述距离函数选择与
30、所述待查询的静态帧距离值最小的运动单元，得到该运动单元及其运动类型；根据所述待查询的静态帧及得到的运动单元及其运动类型生成多组候选的运动，对所述候选的运动进行采样，得到可应用于所述待查询的静态帧的最佳运动参数。为了实现上述目的，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：根据物体的运动方式对一组三维形状中的每一个三维形状中构建出多个运动单元,并根据运动类型对所有运动单元进行划分，每一三维形状分割已为多个独立几何部件,所述运动单元中包括多个静态帧，所述运动类型的划分基于运动参数，所述运动参数包括：运动类型、候选轴的方向参数、候选轴的位
31、置参数及范围参数；计算每一运动单元中静态帧的帧描述子，所述帧描述子以多个多维的儿何特征表示，描述了静态帧中的运动部件与参考部件的交互及所述运动部件与参考部件的位置关系：根据运动单元的每一运动类型，利用度量学习方法，学习出每一运动类型的运动单元中的静态帧到不同运动单元的距离函数；根据待查询的静态帧，利用所述距离函数选择与所述待查询的静态帧距离值最小的运动单元，得到该运动单元及其运动类型；根据所述待查询的静态帧及得到的运动单元及其运动类型生成多组候选的运动，对所述候选的运动进行采样，得到可应用于所述待查询的静态帧的最佳运动参数。利用本发明，可以通过少数运动单元的静态帧学习出运动性模型，预测出现在物
32、体静态帧上静态部件的运动。附图说明为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本发明实施例的静态帧的部件运动性预测总体流程图；图2为本发明实施例基于静态帧的部件运动性预测方法流程图；图3为本发明实施例训练数据的设置示意图；图4为本发明实施例将训练运动单元数据根据运动类型的分类示意图；图5A至图5C为本发明实施例学习和预测部件运动性的过程示意图；图6A为本发明实施例一个静态帧和两个
33、运动单元之间的类型1约束示意图；图6B为本发明实施例一个静态帧和两个运动单元之间的类型2约束示意图；图7为本发明实施例挑选出的聚类样例示意图；图8为本发明实施例利用运动类型的聚类来下采样约束的示意图；图9为本发明实施例利用本发明中的动态部件运动性模型对静态帧进行运动预测的结果示意图；图10为本发明实施例的运动转移方法流程图；图11为本发明实施例采样运动的静态帧的方法流程图；图12为本发明实施例的候选轴选择示意图：图13通过为本发明实施例为每一个静态帧预测出正确的运动类型的示例图。具体实施方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅
34、是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。本发明实施例的目的之一是学习出一个三维动态部件运动性模型。当仅给定一个部件的静态构型，该模型能被用于预测未知部件的运动性。为此，本发明要寻找一个关于静态帧到动态运动类型的直接映射，称之为S-D映射。计算该S-D映射的困难在于需要考虑部件运动的多样性和部件各种可能的几何差异。即使是相同的运动类型，也会有不同的几何显示和不同的部件结构。简单的通过静态帧寻找几何上的相似性将意味着需要存储所有可能的几何外形类型及其空间和当前的结构，这是不可行的。为
35、了降低难度，并观察到日常许多部件的运动性在不同空间中展现出某种形式的线性变化，例如：抽屉在空间域中是线性的平移，较链处的旋转则在角度空间中呈线性关系。这样的线性关系使得从一些静态帧中描述并学习部件的运动性成为可能。对于一个部件的运动，通常只需要起始和末尾的静态帧就足以定义。因此，依赖于这样的线性关系，运动中间状态的特性可被简化为运动过程中的某个状态到始末动作状态的距离之和是接近不变的。通过学习三维动态部件运动性模型，可以使得能对动态的功能性进行理解，其中,动态的功能性是由三维物体中一个或多个部件的运动所描述。具体地，学习出的动态部件的运动性模型，能从三维空间中相关部件空间构型的单一静态帧预测出
36、部件的运动性。本发明的训练数据包含一组运动单元，每个运动单元包含一对三维物体的部件,连同用例包含通常2到4个静态帧以捕获运动单元在空间中的不同状态。这里的关键是学习出一个从静态帧到动态单元的映射。利用日常生活大多数物体部件运动的线性变化特性，本发明定义了一个具有意义的静态帧到运动单元的距离，运动单元中的多个静态帧中包括初始静态帧及末尾静态帧，该距离是静态帧到运动单元初始和末尾两帧的距离之和。此外，静态帧到静态帧的距离被定义为一组几何描述子，这些描述子的权重可以基于运动且通过度量学习得到。本发明学习出的动态部件运动性模型，可以从静态帧中预测到部件的运动性。训练数据包含一组运动单元，每个运动单元包
37、含一对三维物体的部件（一个运动部件，一个作为运动参照的参考部件），连同用例包含通常2到4个静态帧以捕获运动单元在空间中的不同状态。对于运动预测的关键是学习出S-D映射，且不仅仅依赖于几何上的相似性。该映射需要度量出某个物体的一个查询静态帧到某个物体上的运动单元的距离。本发明将静态帧到运动单元的距离定义为一个查询静态帧到目标单元的初始和末尾静态帧的距离。在运动性在某个空间中呈线性变化的假定下，对于相似的运动类型应该会有相似的距离和。因此，定义一个静态帧到运动单元的距离问题将转换为定义一个具有意义的静态帧之间的距离。本发明中将使用一组几何描述子去定义静态帧到到静态帧之间的距离，例如：用于编码部件在
38、空间中的相对位置关系。然而，线性关系假定中每一种运动类型会在不同的运动空间。若对所有的运动单元类型使用相同距离度量和让描述子使用统一的权重，会得到不理想的预测结果。在本发明的方法中，对几何描述子使用了不同的权重,能定义出一个接近于真实运动空间的距离。为此，以监督的方式使用度量学习（metricIearning）的方法为每一种运动类型定义了根据运动的描述子权重。在预测的过程中，本发明将根据学习出的静态帧与静态帧之间的距离度量，以及线性关系假定下导出的静态帧到运动单元的距离度量，将给定的一个静态帧映射到训练数据集中的一个运动单元。图1是本发明实施例的部件运动性预测总体流程图。本发明部件运动性预测方
39、法分为模型的训练阶段，以及使用模型来推导出部件运动性的预测阶段，下面具体说明。图2为本发明实施例基于静态帧的部件运动性预测方法流程图，如图2所示，该部件运动性预测方法包括：S201：根据物体的运动方式在一组分割为多个独立几何部件的三维形状中的每一三维形状中构建出多个运动单元，并根据运动类型对所有运动单元进行划分，所述运动单元中包括多个静态帧，所述运动类型的划分基于运动参数；所述运动参数包括：运动类型、候选轴的方向参数、候选轴的位置参数及范围参数。S202：计算每一运动单元中静态帧的帧描述子，所述帧描述子以多个多维的几何特征表示，描述了静态帧中的运动部件与参考部件的交互及所述运动部件与参考部件的
40、位置关系；S203：根据运动单元的每一运动类型，利用度量学习方法，学习出每一运动类型的运动单元中的静态帧到不同运动单元的距离函数；S204：根据待查询的静态帧，利用所述距离函数选择与所述待查询的静态帧距离值最小的运动单元，得到该运动单元及其运动类型；S205：根据所述待查询的静态帧及得到的运动单元及其运动类型生成多组候选的运动，对所述候选的运动进行采样，得到可应用于所述待查询的静态帧的最佳运动参数。通过图2所述的方法，可以通过少数运动单元的静态帧学习出运动性模型，预测出现在物体静态帧上静态部件的运动。S201属于模型的训练阶段，训练阶段的输入是一组分割为多个独立几何部件的三维形状。所有的部件分
41、组到运动单元之中，且每个运动单元由一个运动部件和一个参考部件组成，例如：一个抽屉在移动的过程中，家具框架部分将作为该运动的参考。完整的输入包含了一系列运动单元的静态构型，即在此称之为静态帧。静态帧由不同的运动状态得到，例如：完全打开的抽屉，半开的抽屉等等。输入中的一个例子如图3所示，给定一个分割过的形状，如图3左上方桌子所示，随后可通过将部件配对（运动部件与参考部件配对）定义出一些运动单元（如图3第一行所示），在图3所示的第二行中展示了某个运动单元的几个静态帧。这里需要确保运动单元中包含了初始和末尾静态帧，并假设已知每一个静态帧对应的原始运动单元，且运动单元中的静态帧根据部件的运动按时间排序。
42、在本发明实施例中，也将输入的运动单元进行了一个大致的运动类型分类，例如：转轮，滑盖，旋盖等等，以建立出基于用户指引的模型。对于运动单元的任何分类方式都可适应本发明中的流程框架，然而具体到本发明中的数据集,分类方式将基于运动的参数。这些包含了运动单元标签的参数将能帮助到随后将运动转移的过程。这些参数包括：运动类型（平移“T”，旋转“R”，或平移结合旋转“TR”）、平移或旋转轴的主方向（水平“H”，垂直“V”）、轴所处的位置（接近于中心“C”或靠近其中一条边“S”）、运动范围。本发明中用到的数据集涵盖了日常生活中大量不同的运动，并利用了上述参数将运动单元分为8类。在图4中为每一种运动类型展示了一个
43、运动单元的例子。该分类方式将作为本发明的部件运动性预测方法的初始的分类。参考图4中文本标签，每一个运动类型都展示了一个运动单元例子。下面描述三维动态部件运动性模型及本发明的部件运动性预测过程。三维动态部件运动性模型由训练集中的运动单元表达和能将静态帧映射到动态单元的S-D映(指的是关于静态帧到动态运动类型的直接映射)射构成。每种运动类型的ST映射是通过度量学习的方式从训练数据中得到。然后，给定一个包含一对部件的静态帧，利用S-D映射来预测运动部件所能支持的运动。具体地，本发明按照最近邻的分类方法，计算出静态帧到训练数据中不同运动单元的距离，并利用为每种运动类型所学习出的静态帧到运动单元距离度量
44、，挑选出距离值最小的运动单元。随后，将运动单元上的运动转移到静态帧上。图5A至图5C是本发明实施例学习和预测部件运动性的过程示意图。给定由多个静态帧组成的不同运动类型的运动单元(图5A),本发明学习出了一个由每个运动单元始末静态帧和ST映射功能组成的部件运动性模型，如图5B所示。给定一个查询形状,如图5B的底部所示，首先通过ST映射在训练数据中找到最相似的运动单元，然后将该运动单元上的运动转移到查询形状上，如图5C中的第一列所示。图5C中也展示了运动转移的例子。一实施例中，S202包括如下步骤：利用交互二分面捕获运动部件与参考部件的交互及部件表面与所述交互二分面相关联的交互区域；利用关系增强图
45、像描述子表示运动部件与参考部件间的相对位置关系。具体实施时，包括：将关系增强图像描述子在二维中的像素替换成三维中的体素，并将二维中的圆替扩展为三维中的球体；使用三维空间中三个相互正交的平面对球体的空间进行分割，并按球体的半径将球踢划分为内部球体和外部球体，得到16个空间划分。S202为S-D映射步骤，具体地，定义S-D映射的关键是运动呈线性变化的概念。一个运动的线性关系使得能确定出每个运动单元的初始静态帧和末尾静态帧。而且，依据运动的线性关系，中间任一静态帧到始末两个静态帧的距离之和大致保持不变。因此，计算一个查询静态帧到一个运动单元的初始静态帧和末尾静态帧的距离之和提供了一个具有意义的静态帧
46、到运动单元距离，例如：所有来自于同一个运动单元的静态帧到自身运动单元的距离都维持不变。利用该假定，定义静态帧到运动单元的问题将简化为找到静态帧之间一个合适的距离度量。获得S-D映射的第一步是学习出两个静态帧之间的距离度量。为了确保对未知的静态帧能作出准确的运动预测，本发明为每种运动类型学习了一个独立的局度量。下面，将给出更多用于方法中不同距离度量的细节。静态帧描述子本发明中使用了一系列描述子来表达一个静态帧中运动部件和参考部件的结构外形。首先，利用交互二分面(InteraCtiOnBiSeCtorSUrfaCelBS)捕获两个部件间的交互。该交互二分面是两个物体之间计算得出维诺图(Vorono
47、iDiagram)的子集，捕获到的是物体相互交互的空间区域。此外，部件外形的几何外形也与它们的运动有关，因此也捕获了物体表面上与交互二分面相关联的区域，称之为交互区域(InteraCtionRegionsIR)o同时，本发明中也使用了关系增强图像描述子(ReIatiOn-AugmentedImageDeSCriPtOrRAlD)来表示部件间的相对位置关系。但为了让关系增强图像描述子能适应到本发明方法中的设定，这里将其从二维扩展到了三维。具体是在构建过程中将二维中的像素替换成三维中的体素，将二维中的圆替扩展为三维中的球体。对于每个球体的空间分割，使用了三个正规平面对三维空间进行划分，得到8个空间的划分。按球体的半径又划分为内部球体和外部球体，最终一共得到16个空间划分。与原工作相比，本发明处在一个更高的维度，所以在直方图的计算时，采样点数从IoOOO改为40000,并将对比描述子的方式从Ll矩阵（LkIetriC）改为地动距离（earth-mover,sdistance）o距离的度量本发明将在使用运动性模型的过程中定义三个距离度量。（D静态帧到静态帧的距离。两个静态帧之间的距离是N个独立描述子的权重组合的距离：其中，是两个静态帧Si和Sj之间关于第f个描述子的距离，该距离归一化到范围0,1之间，wfW是描述子f的权重，处于范围0,1之间，且fwf=I0
