《智能家居人机交互方案.docx》由会员分享，可在线阅读，更多相关《智能家居人机交互方案.docx（25页珍藏版）》请在课桌文档上搜索。
1、在智能家居实验室建设方案中，人机交互系统是一个相对照较独立的系统.但它的运行即需要其他子系统的支持，同时也想高级服务提供依据.其中的主要交互设备有家居机器人、智能手机、挪移平板、智能视机、健康设备、遥控器、计算机等。1家居机器人Io1人机交互技术在终端机器人中主要提供触摸显示和语音交互方式,并提供摄像头扩展接口，利于更高层次的开辟.触摸显示交互是多媒体技术交互方式的一种，其依托于7寸触摸显示屏进行操作界面的实现和用户触摸输入。目前，在手机、平板等电子消费领域得到了非常广泛的应用。其有一个缺陷是,触摸显示屏安放在机器人的机体结构中，属于机器人的一部份，具体的使用过程不是特殊方便。语音交互是本设计
2、中的重要部份，是终端机器人与其他家电设备最大的却别.通过自然语言交流，一方面用户可以非常方便的使用机器人进行家庭中各种设备的控制，另一方面其还能与老人对话，提供心理慰藉，或者用于幼龄儿童的教学。终端机器人中语音交互的方案采用科大讯飞语音云平台进行高效开辟。语音识别的过程为:在本地进行语音采集，将采集的信息发送到语音云端，本地接受来自云端的识别结果在,然后进行智能处理；语音合成的过程为：将要合成的文本发送到语音云端，云端将语音信息返回到本地进行播放。科大讯飞云平台只是提供具体的识别和合成，而怎么让语音识别更智能化则需要进一步的研究。1.2系统硬件Io2o1整体架构电子芯片技术的飞越发展，CPU处
3、理核心的处理和运算性能越来越强.基于最大化利用CPU能力、减少成本和降低系统能耗的思想，本设计采用单处理核心，由Corte-8(S5PV210)统筹系统的所有外设，进行设备控制和信息采集。对于外部设备，设备本身复杂程度以及传输方式、传输速率上均有不同，因此在对系统设备进行选型时尽量减少设备种类的复杂程度。系统框架中定义了2种设备总线：USB总线和IO数据总线。Ahref=httpwww.corewiseocn”手持终端/AUSB总线用于数据传输量大、传输速率高的复杂设备,IO数据总线则对应传输速率低的简单设备.USB总线采用Hub的形式进行多设备扩展。IO数据总线则采用抽象化和模块化思想设计，
4、建立单独的底层扩展系统,规范相应设备接口。系统从总线的角度出发，将硬件分为2部份：底层扩展系统和上层Corte-A8平台.底层扩展系统主要用于传感器数据采集、机器人动力系统控制以及情感控制，设备的类型和控制较为简单.而上层Corte-A8平台则是在核心控制器的基础上搭载触摸显示屏、用户按键接口、音频输出以及USB类的摄像头、Wi-Fi适配器、蓝牙适配器。整体的硬件架构如图1I0201Cortex-A8S5PV210ARMCorte-A8处理器是基于ARMV7A体系结构，其设计主要面向高性能和低功耗。目前,其突出的优势已经得到了市场的认可，在智能手机、机顶盒、数字电视、打印机等终端设备中具有广泛
5、的应用.COrteX-A8处理器的主要特点如下：1)128位SlMD引擎支持高性能媒体处理(NEoN)；2)优化的1级高速缓存和集成的2级高速缓存；4)Thumb-2技术，提高性能并节省指令存储空间；5)动态分支预测，降低分支错误预测的危害；6)完整的内存管理单元(MMi：)；7)JaZeIIe-RCT技术优化即时生产(JIT)和动态自适应编译(DAC)；8)高功效和高性能的内存系统；Mini210s开辟板以CorteXA8的S5PV210为核心控制器。S5VP210是一款高效率、高性能、低功耗的32为RISC处理器,其合用于智能手机和平板电脑等智能终端。S5PV210在CorteX-A8的基
6、础上拓展了多媒体方面的性能,其包含不少强大的硬件编解码功能，内置MFC(MultiFormatCodec)高性能PoWerVRSGX5403D图形引擎和2D图形引擎、IVA3硬件加速器、HDMIvIo3等多媒体相关的处理模块。S5PV210采用584引脚的FCFBGA封装，具有丰富的外围接口如TFTLCD控制器、摄像头接口、MIPIDSI、ATA接口、UART.24通道DMA、定时器、Ahref=http：/wwv.corewise,cn,z)手持机AGPl0、USBHost2.0、USB2。0OTG等。S5PV210同时具有丰富的高质量的外部存储接口,其DRAM支持LPDDR1、DDR2、L
7、PDDR2,FIaSh/ROM支持NNDFlash、NORFlashSRAM等。S5PV210芯片结构图如图2所示。图2S5PV210芯片结构图1.2.2Mini210s开辟平台Mini210s是一款高性能高性价比的COrteX-A8开辟板，搭载三星S5PV210处理器，运行主频可高达IGHz,同时集成PoWerVRSGX540高性能图形引擎。Ahref=whttp:/www.corewise,cnw工业PDAMini210s开辟板配备了512MDDR2内存和4GMLCNNDFlash,其外部应用接口非常丰富如WM8960音频芯片、miniHDMI高清输出、USB200、CMOS摄像头、SDI
8、O、矩阵键盘等接口（详见图415）,其电源电路也支持低功耗待机省电模式。该款开辟板提供开源的Android2o3.1系统源码以及LinUXkernel源码，方便用户进行二次开辟。同时其还提供方便易使用的开辟板烧写工具SUPerbOot,缩短了系统开辟周期。根据终端系统功能设定要求，Mini210s开辟板的板载资源主要使用电阻触摸显示、USBOTG接口、音频接口三个部份。电阻触摸显示接口与7寸一线精准电阻触摸显示屏连接,实现Android系统操作界面的显示和触控操作的检测。WiFi、蓝牙、USB摄像头等设备通过与USBHOST接口连接的USBHub完成基于USB设备的设备扩展。音频部份采用I2S
9、0接口，外接WM8960CODEC解码芯片,提供声音输入和speaker输出（内置D类功放，能直接连接81W扬声器）功能.图3Mini210S接口布局1.3服务内容Io3.1机器人动作及情感表达图4小优机器人的动作和情感是其与其他家居设备的最重要的区别，能够实现更好的人机交互模式。机器人的动作主要包括2类，机器人的正常行走和头部运动.行走控制是在2轮轮系结构上通过控制直流机电实现,机器人可以灵便地进行前进、后退、摆布转等动作.头部运动主要包含了抬头和扭头的动作,2个自由度均通过直流机电实现。机器人相关动作作为服务发布到智能家居服务网关，其他终端可以通过网关或者直接网络连接实现机器人的动作控制。
10、机器人的情感表达是机器人智能性的核心体现。其表现途径主要有三个方面：LED情感输出、机械动作以及语音，通过三者的结合向用户立体地呈现了具体情感。3o2o2网络接入网络是物联网的核心基础之一，是物联网终端的基本特征.物联网终端工作的环境为一个家庭,其面积通常在几十到几百个平方米，因此在选择通信介质时需要选择覆盖面积较大、信号穿透力强的网络通信方式。再则该终端在家庭中大多数情况出于运动状态,通信介质应选取无线类型的。目前，消费市场流行的短距离无线通信方式主要有蓝牙和WiFi。蓝牙和WiFi技术都是工作在全球通用的2.4GHzISM频段,有效解决了挪移终端设备之间以及与IrIternet的通信。普通
11、蓝牙技术的有效通信距离为IOnb新的蓝牙标准4。0能够达到IOOnI以上的超长距离。WiFi的有效通信距离则在几十米，发射功率足够大的情况下能达到IOOnI以上，足够覆盖整个家庭环境。此外,蓝牙的传输速率较低，如果处理视频类的数据时会浮现延迟问题。因此,设计中使用WiFi作为机器人的网络通信介质，连接局域网以及互联网。为了方便TViFi模块的驱动移植,设计中选择的USB接口WiFi模块EDUPEP-8508GSo其采用REALTEK8188CUS芯片,使用802。Iln无线传输技术,传输速率高达150Mbps,内置高精密天线，传输稳定.此外，蓝牙通信在智能设备如手机、医疗健康类设备等中应用广泛
12、，为了支持此类设备终端系统使用USB接口的蓝牙适配器提供蓝牙通信通道。3.2o3智能家居应用在具体的家居环境中，物联网终端一方面作为设备对外发布自己的服务，如动作相关服务、视频服务等（可以根据具体的需求对其进行扩展），其他终端设备可以通过网络方式对其进行服务调用，另一方面终端能够通过网关调用其他设备所提供的服务，例如家电控制的实现。服务调用的实现依托于家庭环境中的网络环境，主要有2种模式：服务器模式和直接连接模式。具体的网络结构如图3所示。服务器模式依托于现有的家居PC网关，家居环境中的各种设备与服务器网关进行连接，网关对设备统一进行管理。当需要控制其他设备时，设备从网关获取控制方式并将控制请
13、求发送到网关，网关接受到请求后先判断目标设备正常后将控制请求发送到目标设备，目标设备接收请求并依情况进行响应.服务器模式优点是能够对设备进行统一管理，设备可以动态增减,但整体结构比较复杂，给家居环境增加了额外的设备开消。直接连接模式中各设备通过网络直接通过物理通信方式发送控制指令和数据直接到达被控设备。由于直接连接模式没有网关对设备进行统一管理，所以在网络环境中必须对设备列表进行固化,不能实现设备的动态添加。但此种模式技术实现简单而且没有额外开消。图3智能家居网络结构图物联网终端机器人对两种网络环境都提供支持。智能家居控制时,终端通过WebSerViCe协议与网关通信,实现具体设备的控制。同时
14、终端也可以通过Wifi与家电控制终端直接连接，终端机器人通过SOCket通信传递控制指令，家电控制终端通过Wifi转RS232模块将SoCket信息转化为串口数据，处理模块接收控制指令后进行相应操作.终端机器人作为设备时，建立网络监听，接受相应的控制信息即可进行响应3o2o5智能提醒及应用扩展人到老年后随着年龄的增加记忆力不断退化，往往会浮现遗忘需要完成的事情或者是忘记吃药等现象.针对这一老年人的实际需求，物联网终端机器人具有智能提醒的功能。用户根据需要通过语音命令或者设置界面进行事件的设定,设置内容主要包括时间和事件内容，当到达预定时间时机器人将进行相关时间的语音提示并在AndrOid系统窗
15、口推送时间提醒消息。智能提醒服务主要是基于时间、时间提醒的应用，针对老人的心理慰藉问题也可以开辟语音相关治疗软件.事实上，Android系统拥有非常庞大的应用APP商店，涵盖了健康、保健、娱乐、教育等多个方面,用户根据自身的需求对应用程序进行定制，而且应用商店中的绝大多数软件都是可以免费使用的。对于一些专有性较强的应用，开发者根据具体的需求使用过AndroidSDK以及相关工具即可开辟。而且其上层应用开辟几乎彻底与底层硬件相独立，大大缩小了开辟难度。也正是由于强大的应用商店库和高效开辟性，终端机器人实现选择搭载Android操作系统。2智能手机2o1智能手机的人机交互方式智能手机作为物联网家居
16、中的一个重要的智能终端，在人机交互上有多种体现方式。常见的就有感应器、触摸屏、物理按键、加速度感应器、环境光线感应器、距离感应器、陀螺仪、指南针、GPS、摄像头、时钟、录音以及常规的数据输入口(2/3/4G数据、WIFK蓝牙、数据线).(1)触摸屏触摸屏是大家所熟知的命令输入设备，已经发展出全套的多手指手势，用于自然的命令输入.在智能手机上使用的最多的是点击、长按、横滑、拖动，以单指手势为主.两指以上的手势并不太适合手机，因为常见的持机方式是单手持机.多指手势比较适合平板电脑。(2)传感器现在的挪移操作系统都提供了对传感器的支持，如果硬件设备提供了这些传感器，目前支持的传感器有加速度传感器、光
17、线传感器、压力传感器、方向传感器、磁场传感器、温度传感器等,通过这些传感器，用户可以很方便的获得手机的运行状态、当前的摆放方向、外界的磁场、温度和压力等。(3)GPS最直接的用途是在地图应用中调取当前位置，在LBS服务中获得POl点名称。无非NikeRunning将其用于记录跑步的路径，也是一种比较有趣的拓展。(4)摄像头摄像头其实是一种非常强大的信息获得设备,二维码在020领域的巨大潜力已经被微信搅起来了。之前一种颇为奇妙的用途就是被heartrate通过拍摄手指血管来测量心律。其他的用途还有人脸身份识别、计算机视觉的手势识别、物体追踪等等.录音录音是一种长期被忽略的人机交互方式,发现它潜力
18、的人则创造了非常奇妙的交互方式。比如Square用它作为信用卡刷卡信息的输入口；一些游戏用它摹拟一些“吹一吹”的效果；Chirp利用声音传递身份识别码，用以在手机间传递文件；此外，随着挪移智能终端设备的发展，人机交互的方式也日益多元化。MirageTable：真人与虚拟影像的互动由微软推出的MirageTable(幻影桌面)是一项颇为奇妙的技术，它将两台3D投影仪、Kinect体感监测仪、3D眼镜以及人的动作结合在一起，打造出一个真人和影像互动的效果。通过MirageTabIe,人们的所有动作都会被Kinect捕捉并转化称3D影像,然后和已有的3D物品进行交互,比如用手挪移影像中的多米诺骨牌、
19、皮球等.同时一个实体物品可以通过虚拟影像复制出多个，也可以将挪移虚拟物品到任何位置.用户只需要佩戴3D眼镜就可以看到MirageTabIe上3D投影的图像.曲面设计可以让操作者通过投影仪来与虚拟画面实现互动交流，就像打保龄球一样。MirageTable还可以实现人与人之间的双向写作，通过Miragetable,两个操作者不仅可以看到对方并谈话，而且一个人可以与视频中另一个人的虚拟对象进行互动交流,甚至可以“触摸虚拟对象。还可以一起下象棋、搭积木，甚至研究一些比较复杂的项目方案等。如果说AR（增强现实）技术可以在现实的基础上摹拟出虚拟场景，让人进入虚拟版的现实世界，那末MirageTable则可
20、以将用户带入一个虚拟的世界，想象一下，如果未来所有的网络游戏都可以将用户融入其中，在虚拟环境下直接操作，使用新鲜的装备，实现惊艳的特效，世界将会变得多么奇妙！基于Kinect的操控创新微软推出的Xbox360体感外设KineCt很受用户欢迎，但是它的意义并不仅仅是游戏外设，而在于对人机交互方式的探索和创新。正因为如此，Kinect技术才干被广泛应用到其他创新产品之中,成为智能人机交互的经典产品。国外一家专注于人机交互技术的创业公司3GearSystems利用微软Kinect技术，推出了SDK包，能够匡助开辟者将手势动作反馈到应用软件之中。这套系统可以匡助3D建模人员更方便快捷地对模型进行拼装操
21、作,操作过程可以在普通显示器之上呈现。开辟者只需要购买KineCt传感器和固定装置就可以在这款SDK包的基础上，设计新的APP产品。Kinect的作用还不止于此.Oblong实验室近期发布了一项科研成果，它将Kinect与Xbox上的IE浏览器结合起来,脱离鼠标来操作电脑屏幕,能够实现一系列复杂的操作，例如拖动、摆放屏幕上的个体,对三维模型进行旋转、缩放,进行复杂的命令操作，或者用手机、平板或者遥控器来控制大屏幕，甚至可以多人玩游戏、通过手势控制飞行器，在多个屏幕之间进行无缝切换等。微软研究院联合华盛顿大学也研发出了一种名为SoundWave的系统，该系统可利用计算机内置的麦克风和扬声器，提供
22、与Kinect类似的对象识别及手势识别功能。SoundWave将计算机的内置扬声器用做超声波（1822KHZ）发射源，其频率会随着你的手或者身体的位置的变化而变化。然后，计算机的内置麦克风会测量这一频率变化,并把参数告诉一套相当复杂的软件，由该软件计算出手势和动作。语音交互的行业应用苹果于2022年花2亿美金亲自将Siri收购，并将其深度融入到iPhone4S中。Siri和手机密切结合,可以极大提升设备的操作简易性、环境适应性和真正意义上的智能性。实际上，不仅仅是APPIe自己的iPad、iTV和车载设备,所有未来所谓的智能设备都将会使用Siri的模式。但是智能人机交互技术在行业的应用中，还存
23、在一些不足.以语音交互为例，传统语音交互涉及的主要技术包括语音识别和语音合成等都已经比较成熟。在多年以前，IBM的语音识别软件在PC上就有不错的识别率了,而微软名为Tenme的项目也持续了多年。然而，即使达到100%的准确率，仅限于输入识别功用的语音识别不能代表智能人机交互的真正意义，它并非革命性的。要实现完美的人机交互，语音技术就必须跟人工智能技术结合起来。现在以语音方式为主的人机交互系统目前主要应用在如呼叫中心的IVR系统、智能手机等终端中的语音拨号，短信朗读、车载语音导航系统等。但普遍存在交互模式比较机械固定(以声控命令为主)、用户体验普通、交互过程繁琐等问题.2.2智能手机的市场现状当
24、前市场上主流的挪移操作系统平台有AndoridiOSWindowsPhOne.互联网数据中心(InternationalDataCorPoration,IDC)近日发布了全球最新的智能手机市场份额数据，从数据表格中我们可以看到Android开始占领超过大半的江山。并且根据IDC对未来5年智能手机市场的预测，到2022年Android的市场份额仍将占到一半以上，到时候Microsoft的市场份额(WindowsPhoneandWindowsMobiIe)将会有一个大幅度的提升，将占到19.2虬智能手机操作系统(SmartphoneOperatingSystem)2022年市场份额2022年市场份
25、额20222022复合年增长率Android61.0%52o9%9。5%WindowsPhone7/WindowsMobile5.2%19o2%46o2%iOS20.5%19o0%IOo9%BlackBerryOS6.0%5o9%12o1%Others7.2%3.0%5.4%Total100.0%100.0%12o7%表1智能手机操作系统2022年一2022年市场份额变化情况2o2o1iOS苹果iOS是由苹果公司开辟的手持设备操作系统，2022年1月10正式发布,最初是设计给iPhone使用的，后来陆续套用到iPodtouch、iPad、以及AppleTV等苹果产品上。它是以Darwin为基础
26、的，因此同样属于类Unix的商业操作系统。iOS的系统结构分为以下四个层次：核心操作系统(theCoreOSlayer),核心服务层(theCoreServiceslayer),媒体层(theMedialayer),Cocoa触摸框架层(theCocoaTouchlayer)o但iOS是一套封闭性很强的系统，不开源，其他公司无法使用它的系统,并且在可以预见的将来,其也将始终保持封闭的状态，不支持第三方软件的运行，在很大程度上限制了各类软件在iOS上的开辟、安装和使用,给用户带来极大的不便.优点：(1)具有极高的稳定性和安全性；(2)AppleStore中应用程序数量多；操控性极高的点触式用户界
27、面，可以给带来很好的用户体验；(4)具有与其它操作系统的高度协作性，支持多种磁盘卷格式，符合各种现有和发展中的标准。缺点：(1)不支持第三方软件的运行；(2)不支持FIaSh,支持多媒体格式较少；20202WindowsPhone2022年10月12B,微软正式发布WindowsPhone7智能操作系统。2022年6月21日，微软正式发布最新手机操作系统WindoWSPhOne8,WindowsPhone8将采用和Windows8相同的内核。作为微软重新打造的新一代智能终端平台，WindowsPhone采用了与过去WindowsMobile彻底不同的屏幕主页和用户界面，为用户带来全新的操作体验
28、。WindowsPhone的用户界面以及交互模式均是以广受好评的ZUnCHD高清播放器为基础而设计的。在操作性能方面，WindowsPhone操作系统重视用户的实际使用效率.它的整个界面简洁实用，使用了较大的、图形化的字体，短信数量和未接来电数量都直接显示在主屏上。在产品方面，WindowsPhone与微软其他产品联系密切，通过与各类面向企业及消费者的产品进行整合，丰富了自身的产品资源，同时极大地拓展了业务范围。在个人电脑世界，微软的Windows是独一无二的王者，在挪移世界,微软也向来有着称王的野心。从WindowsCE至WindowsMobile,再到今天的WindowsPhOrle,微软
29、向来在努力，效果却不理想。非但没用超越智能操作系统的老牌王者Symbian,反而被Android.iOS这些新星挤在身后。WindowsPhone相对于微软以前的系统如WindoWSCE和MOblie,可谓是做了彻底性的改变，摒弃了以前系统臃肿和多层菜单操作的方式，采用了桌面定制、图标拖拽、滑动控制等方式.虽然上市较晚，市场占有率很低，但是凭借微软强大的技术开辟实力、个人电脑世界庞大的用户群、以及和老牌手机王者诺基亚的合作，让人对它的前景不敢小视。最近，诺基亚、三星、HTC等主流手机厂商也推出了一些基于WindowsPhone的智能手机。说明各大手机创造商还是对微软的技术实力看好，Window
30、sPhone系统在未来的挪移市场中大有潜力。优点：(1)应用开辟难度低，UI界面友好；(2)预装软件丰富，便于熟悉个人电脑的用户操作；(3)云计算技术优势；缺点：(1)对硬件平台要求较高；(2)目前应用程序较少.2.2。3AndroidAndroid是由Google公司牵手30多家公司成立的“开放手机联盟共同研发的，基于Linux平台的开源挪移操作系统,由操作系统、中间件、用户界面和应用软件组成,号称是首个为挪移终端打造的真正开放和完整的挪移软件。优点：(1)开放性。Android是由Google公司牵手30多家公司成立的“开放手机联盟”共同研发的，这些全球各地的手机创造商和挪移运营商都将基于
31、该平台开辟手机的新型业务，应用之间的通用性和互联性将在最大程度上得到保证，而且开辟商也会得到新的开放级别，更方便的进行协同合作.(2)应用程序无界限。Android上的应用程序可以通过标准API访问核心挪移设备功能,通过互联网，应用程序可以声明它们的功能可供其它应用程序使用.(3)应用程序是在平等的条件下创建的。挪移设备上的应用程序可以被替换或者扩展，即使是拨号程序这样的核心组件。(4)应用程序可以轻松的嵌入网络。应用程序可以轻松的嵌入HTMLJavaScript和样式表，还可以通过WebVieW显示HTML文件或者是网络内容。(5)Google网络服务的支持.拥有强大的Google的网络服务
32、支持，如GoogleTalkGmail、GoogleMap等，基于这些服务和庞大客户群的支持，大大扩展了开辟者的设计空间。缺点：(1) DalvikVM对于硬件的配置要求较高，在进行应用程序开辟时硬件成本同其它开辟环境相比还是比较高的。(2) Google为了平台的安全性设置了较多的权限控制，导致任务管理器、摹拟按键、屏幕截图、短信防火墙等类似功能的实现都较为艰难、步骤繁琐。挪移操作系统iOSWindowsPhoneAndroid发行商AppleMicrosoftGoogle应用商店ppstoreWindowsPhoneMarketplaceGooglePlay应用程序数量500000+100
33、000+450000+全球市场占有率2022Q123%2.2%59%目前最新版本iOS6WindowsPhone8Android4.1最初发布时间2022年6月2022年10月2022年9月内核类型DarwinWindowsCE600R37o0Linux源码模式封闭式封闭式开放式开放者权限开放度低需要证书支持高度开TT口立；赤-k-辟OuJeuICCWJavaNativeJ地图支持乂寸寸鬟麻移操4小乂内乍系统雷薇乂1寸Google2.3挪移平台开辟技术以Android为例2o3.1Android体系结构Android体系结构分为四层，从高到低分别是应用层、应用程序框架层、函数库和运行时环境层、
34、Linux内核层。如下图所示：图3。IAndroid体系结构【311) )Linux内核层Android基于Linux核心提供安全、内存管理、进程管理、网络协议栈、驱动模型等核心系统服务。LinuxKernel也是系统硬件和软件叠层之间的抽象层，隐藏了具体硬件细节，并为上层提供统一的服务。(2)函数库和运行时环境层函数库包含了一个运行于Kernel之上的C/C+库的集合，供Android系统的各个组件使用，这些功能通过应用程序框架暴露给开发者，这些函数库包括：系统C库：C语言的标准库，也是系统中一个最为底层的库，是通过Linux的系统调用来实现的。多媒体框架：是Android多媒体的核心部份。
35、SGL：2D图象引擎。SSL：即SecureSocketLayer位于TCP/IP协议与各种应用层协议之间，为数据通讯提供安全支持。OpenGLESl.0：提供对3D的支持。界面管理工具(SurfaceManagement):提供对管理显示子系统等功能。SQlite:一个通用的嵌入式数据库。WebKit：网络浏览器的核心.FreeTyPe:位图和矢量字体的功能。Android运行时由两部份组成：Android核心库和DalVik虚拟机。其中核心库提供了Java语言核心库所能使用的绝大部份功能，而虚拟机则负责运行Android应用程序。Dalvik是基于寄存器的虚拟机，它经过了优化，使得一个设备
36、可以高效地运行多个实例，因此AndrOid系统可以方便地实现对应用程序进行隔离.(3)应用程序框架层应用程序框架提供用于创建Android应用的类。它还提供了一个访问硬件的通用抽象接口，并能管理用户界面和应用程序资源。通过开放平台,Android开辟者能够编写极其丰富的应用程序。开辟者可以自由地利用设备硬件优势,访问位置信息、运行后台服务、设置闹钟、向状态栏添加通知等.(4)应用层应用层是和用户交互的一个层次，用户可以看得见的一些应用，用户可以操作.这种应用基本都是通过Java语言编写的独立的能够完成某些功能的应用程序.Android本身提供了桌面、联系人、拨打电话、浏览器等不少基本的应用程序
37、。软件运行时应用层向下调用应用程序框架层，应用程序框架层又要调用之下的库以及核心包和虚拟机，最后要交给底层操作系统LinuxKernel来和硬件进行交互。2) 3.2Android应用程序组件要进行Android应用程序开辟，我们必不可少的就是要了解Android平台的应用程序框架。Android应用程序主要是由ACtiVity、BroadcastReceiverServiceContentProvider以及Intent五大组件构成的。在AndrOid应用程序中，开辟人员可以根据实际项目需要对这5个组件进行选择性的使用。(1)活动(Activity)活动是Android应用程序中最基本的组件
38、，通常每一个用户界面都是一个活动。每一个活动作为一个独立类都要从活动的基类Activity继承而来，它显示由视图空间组成的用户接口，并对相应的事件做出响应。大部份程序会有多个应用程序界面,多个对应的活动。(2)广播接收器(BroadcastReceiver)BroadcastReceiver组件主要是让应用程序响应来自外部的事件，可能是系统发出的广播，也可能是其他应用程序发出的。在使用Android系统的时候时常会遇到许多各式各样的广播，比如我们在玩游戏时，这时蓦地发现显示没电了或者显示有其他人打电话进来,此时系统就必须对当前应用程序进行中断并响应。应用程序需要对某些广播事件进行响应,则需要注
39、册对应的BroadcastReceiver对象。(3)服务(Service)服务通常位于后台运行，它普通不需要与用户交互，因此Service组件没有图形用户界面。Service组件需要继承Service基类，一个Service组件被运行起来之后，它将拥有自己独立的生命周期，Service组件通常用于为其他组件提供后台服务或者监控其他组件的运行状态。(4)内容提供者(COntentProVider)ContentProvider的主要功能是在不同的应用程序之间实现数据共享。Android每一个应用程序都拥有自己独立的存储空间,可以将运行过程中的数据保存到数据库或者文件中。当一个程序要访问其他程序
40、的数据或者向外部程序提供数据时，ContentProvider就发挥作用了，它为应用程序提供了一组标准的访问方式，用于在程序需要时能够访问这些数据，实现数据共享。(5)意图(Intent)严格的说Intent并非Android应用的组件,但它对于Android应用的作用非常大,它是Android应用内不同组件之间通信的载体。当Android运行时需要连接不同的组件时，通常就需要借助于Intent来实现。Intent可以启动应用中另一个Activity,也可以启动一个Service,还可以发送一条广播消息来触发系统中的BroadcastReceiver0Intent分为显示Intent和隐式In
41、tent,其中封装了需要启动或者触发的目标组件的大量信息。从Android应用程序的角度，各个组件对外的联系是程序处理的一个关键性问题，组件接口包括对用户的接口和对其他包的接口两部份内容。在对用户的接口的角度，包括呈现给用户的界面和接受用户的控制，主要由Activity及其中的View对外提供，其他组件可以使用通知的方式和用户简单交互.Android应用程序包的组件接口关系如图5所示。2o3智能手机的接入方案3智能电视随着智能电视功能的日渐丰富和强大，人们需要、也必须对电视机的操控方式进行一点改变，很显然，仅依靠一个简单的电视遥控器已经满足不了智能电视的操控需求。人们需要更加自然、更加方便的人
42、机交互方式,诸如语音控制、动作识别、触摸控制、多屏互动等智能化操控。3.1 、语音控制语音识别技术就是让机器通过识别和理解过程把语音信号转变为相应的文本或者命令的高技术.语音识别技术主要包括特征提取技术、模式匹配准则及模型训练技术三个方面.语音控制可以较好的解决功能控制复杂、记忆频率数量大的难题，相对于手动控制来说更加快捷、方便。比如，我们需要打开电视时，不需要满世界寻觅遥控器,通过声音就能控制开机；再如，当我们忘记想看的频道是几号时，也不需要将十几个节目挨个搜索一遍，直接说出想看的频道，就能直接切换。早在2001年，海尔就推出了采用语音识别、汉语语音分析、数字声音信号处理、语音编码、说话人自
43、适应、回声消除、抗干扰及消噪声等七大高新技术的智能声控电视。海尔智能声控电视，非但可以在挤满客人的大厅中，辨认出“主人”的声音执行指令，还可以寻觅你所喜欢的节目频道.用户只需把自己的声音及指令预先输入系统，声控电视就会对他们“言听计从”。2022年3月，TCL推出了“能听能说”的超级智能电视，“能听能说就是指引入基于云端的语音识别和语音合成技术，电视不仅能听懂用户说话做出反应，而且还能说，比如打开WEB浏览器，对着电视喊声“新浪”，通过云搜索，浏览器页面立刻呈现出新浪网站，比如朗读时事新闻、读报、读杂志等。TCL还推出了“小智语音管家，据悉,小智语音管家是应用于云电视上的新一代语音识别工具，与
44、之前的智能识别不同，它首次应用了云计算技术,带来更强大的智能语音识别、更便捷的操控体验与更人性化的人机交互。通过它，云电视将成为一台一呼即应的智能机器人，为电视的人工智能语音交互时代拉开序幕。在2022年国际消费电子展上三星发布了拥有语音控制功能的电视产品。该款电视内置高清相机和麦克风，用户只需对其喊一声“Hi,TV”，就可以开启语音控制系统，比如你可以说WebBrowser,然后你就可以上网冲浪，动动手就可以浏览网页、选择搜索结果或者提高音量。除此之外，在CES2022上，联想、LG等智能电视都搭载了语音识别功能，用户可直接用遥控器说出电影片名进行查询。苹果电视机也将内置Siri功能，允许用
45、户对电视进行语音控制.2022年2月，长虹中文版语音电视在国内首发。仅凭语音指令完成换台、电视节目查询、网络浏览/搜索、文字输入等操作，甚至能与人对话交流.语音控制与消费者实现了生动有趣的、有情感的交谈,并能针对性的提供服务和匡助，真正意义上拉近了电器与消费者的距离，实现电器智能化的历史性跨越。但是就目前来说，语音控制还只是限于一些基本的操作，还不能彻底取代按键操作，语音控制技术还需要向更高层次发展。3.2 动作识别动作识别技术是由手型、身体动作辅以表情姿式为符号构成的动作识别的一种技术，是人机交互模式识别领域的一项重要研究内容。动作识别系统可以消除健全人与聋哑人之间交流的障碍，作为人体语言理
46、解的一部份,动作识别还可以更高效的实现人机交流。这项技术实际上也可以说是XB0X360的Kinect上面的技术的引用.Kinect可以通过外置的摄像头捕捉RGB与红外图象,来侦测出人体的动作，进而借助一系列的算法来识别出具体的手势操作.在2022年，海信智能电视推出了智能感应触控电视Hi-Touch,可以通过动作识别系统，实现人与电视的互动和体感游戏等功能。通过动作识别技术，电视可以彻底摆脱遥控器,带来了智能互感虚拟触摸的全新体验。TCL推出的超级智能电视也具备了动作识别功能，体现在智能手势和姿态的识别与控制、体感游戏及视频通讯功能上。通过一个外接的摄像头，消费者可以用手势控制电视,通过手势和
47、身体姿态就可玩转3D体感游戏。在CES2022上，三星展出了采用了CMOS图象传感器的动作侦测系统，可以通过摄像头来侦测操作者的手部动作，可以进行多种简单的动作操作；LG的魔术运动遥控器(MagiCMotionremotecontrol)采用了红外感应的操作方式，也可以进行手势侦测。由于人体结构较为复杂，动作识别技术要实现对对人体三维运动的精确跟踪还有一定难度。动作识别技术在电视领域应用前景十分广阔，如果结合语音控制系统，基本可以完成所有的电视机操作,在进行电视游戏时也会比传统意义上的体感游戏更故意思，像水果忍者等常见的游戏形式也可以不借助游戏主机直接游玩。可以想象，这种技术对于酷爱游戏的用户
48、来说，是一个不错的选择。3.3 智能触控自苹果公司推出智能手机iPhone后，触控技术就成为了市场关注的焦点，目前触控技术已经广泛应用于中、小尺寸电子产品，例如，智能手机、数码相机、平板电脑等个人随身设备，技术方面，电容式技术和电阻式技术是目前应用最广泛的两种技术。早在2022年,海尔就推出了全球首款超大LED屏之内触控模卡电视,该产品采用了先进的多点触控功能，使用者可直接在屏幕上进行书写以及绘画。可配备手写笔、无线鼠标以及键盘等设备，全方位满足用户的多样化需求。用户还可以根据需求自行调节画笔粗细及其颜色，并且通过三角板、量角器等各种内置辅助软件轻松完成各种文字和图片的操作。2022年夏普也展示了可
