《第十讲类脑智能.docx》由会员分享，可在线阅读，更多相关《第十讲类脑智能.docx（5页珍藏版）》请在课桌文档上搜索。
1、第十讲类脑智能教学内容：本章主要学习基于神经形态计算原理、忆阻器原理的类脑芯片原理与技术，类脑芯片与传统芯片的区别，类脑芯片对于人工智能发展的作用。教学重点：神经形态计算原理、忆阻器原理、基于神经形态的类脑芯片原理与技术、基于忆阻器的类脑芯片原理与技术。教学难点：神经形态计算原理、忆阻器原理。教学方法：课堂教学为主，结合智慧树等在线平台实时提问、收集学生学习情况，充分利用网络课程中的多媒体、视频素材来表示类脑智能技术原理。讨论5分钟。课后布置作业，要求学生查找、阅读与类脑计算有关的论文资料等。学习慕课第十一章类脑计算并完成章节测试。教学要求：重点掌握类脑智能概念及相关技术，生物神经元脉冲形成过
2、程及生物脉冲神经元模型、基于生物神经元的神经形态计算原理、神经形态计算芯片、忆阻器类脑芯片。课程思政内容：以清华大学连续多年研制成功的“天机”芯片为教学案例，讲授清华大学施路明教授领导的团队研制天机芯片的历程，天机芯片与国外其他类脑计算芯片相比较的技术优势。天机芯片未来在类脑智能方面的潜力和应用前景。寒武纪芯片是世界上最早的非神经形态智能芯片，由中科院计算所的科学家研制。这些技术代表中国在世界上的领先地位。学习目标：1 .学习和理解类脑计算的基本概念。2 .学习和理解利用神经形态、忆阻器等原理和技术实现类脑计算的主要实现方法。3 .学习和理解智能芯片和人工大脑的基本原理和应用。4 .了解神经形
3、态智能芯片和非神经形态智能芯片的本质区别。学习导言人脑凭借认知、记忆、常识与经验处理各种信息，尤其善于处理模糊、不完整、包含大量无关数据，甚至彼此矛盾的狂杂信息。人脑特殊的信息处理能力源于独特的构造。2013年，诺贝尔生理学或医学奖得主托马斯居德霍夫(ThomasSUdhof)揭示了神经元之间的通信机制，指出脑运算是神经元通过突触进行通信而实现的。前面各章节主要通过对智能外在表现的模拟来实现机器智能,基于脑的内在智能形成机制和结构设计来实现类脑智能是在近10年才出现的新领域。研究人脑的工作原理本身是一项有趣而又充满挑战的课题，基于人脑工作原理设计包括类脑芯片、类脑计算机更是一项极具挑战性的工作
4、。所谓“类脑计算”，是指仿真、模拟和借鉴大脑神经系统结构和信息处理过程所设计或实现的模型、软件、装置及新型计算方法。类脑计算是一种全新的基于神经系统的智能数据存储和运算方式，以类似于大脑的方式存储多样化的数据，实现处理复杂问题的功能；类脑计算超越了追求密度的层面，转而关注功能层面。其目标是模仿人脑，即从大脑的机能与运转方式获取灵感，制造不同于现代计算机的类脑计算机，进而创造更加智能的机器。所谓“类脑智能”，是指受到脑神经机理和认知行为机理启发，以类脑计算为手段，并通过软硬件协同实现的通用机器智能。类脑智能是在信息处理的机制上类脑，认知和智能水平上类人，其目标是使机器以类脑的方式实现人类具有的认
5、知能力，最终达到或超越人类智能水平。具有类脑智能的机器具有更高级别的感知、学习和预测的能力，并且可以从经验中学习并预测未来的事件。1、冯诺依曼结构计算机局限为什么要实现类脑计算？首先，现代计算机都是基于冯诺依曼结构计算机，计算速度符合摩尔定律，即计算速度和晶体管数量每年翻一倍，现代计算机在芯片设计方面存在物理极限，即芯片体积越来越小，所容纳的晶体管数量越来越庞大，而从物理上看这是不可能一直持续下去的；其次，计算机只在信息处理方面与人脑有类似的地方，但在结构上和处理机制上与人脑完全不同。现代计算机结构与人脑结构的巨大差异导致现代计算机无法实现与人脑一样的功能，因此，研究人员希望突破传统冯诺依曼结
6、构计算机的限制，设计包括类脑计算机、量子计算机、生物分子计算机等各种新型计算架构。由于人脑生物神经元既有计算功能，又有存储功能，因此，模拟生物神经元功能的类脑计算机将有助于一定程度上克服冯诺伊曼体系架构在实现通用机器智能方面的固有缺陷，这是利用类脑计算实现类脑智能的基本思想。2、类脑计算机类脑计算机具体采用什么体系结构目前并没有具体限定。类脑计算机可以提升机器的智能处理能力，并不一定取代现代计算机。因此，在体系结构上，也可以采用现代计算机架构、神经形态计算、忆阻器计算、量子计算，乃至现代计算机与神经形态计算、忆阻器计算相结合的混合结构，基于现有成熟的CMOS（ComplementaryMeta
7、lOxideSemiconductor,互补金属氧化物半导体）器件工艺，通过设计专门的指令集、微结构、人工神经元电路、存储层次，有可能在数年内将类脑计算机处理效率提升万倍。3.类脑计算研究内容与方法类脑计算研究内容总体上包括两方面：第一个方面是人工神经网络。事实上，人工神经网络作为模拟大脑神经网络的计算架构，它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络，网络自身通常都是对某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。第二个方面是基于神经科学，通过计算机算法或电路芯片实现对生物脑的高逼真性模拟,试图超越人工神经网络框架和摆脱权值计算模型。无论
8、是人工神经网络还是生物脑的模拟仿真,现阶段它们的实现依然依赖于现代计算机。基于上述研究内容，类脑计算发展出许多具体的实现方法，主要包括基于生物神经元的类脑计算、基于忆阻器的类脑计算、基于脑科学大数据的类脑计算、基于脑功能模型的仿脑计算系统、基于深度学习的类脑计算。1神经形态计算20世纪80年代，加州理工大学计算机科学家卡莱米德提出神经形态（Neuromorphic）一词。所谓神经形态是指利用一定方法模仿生物神经元（树突、轴突和突触）的结构，以实现同等功能脉冲神经网络中的神经元以电脉冲的形式对信息进行编码,神经形态信息编码更接近真实神经元对信息的编码方式，并且能够很好地编码时间信息。基于这种信息
9、编码可以构建一种计算模型，基于神经形态模型实现的计算技术称为神经形态计算，是一种基于神经电路的物理特性、信息处理方式和组织结构的新的计算体系，是实现类脑计算的核心技术之2神经形态类脑芯片目前，主要的神经形态芯片有LOihi神经形态多核处理器、高通Zeroth芯片、“达尔文”芯片、BrainScaleSTrueNorth（真北）等。世界上最早开展类脑计算研究的机构是IBM公司，该公司1956年创建第一台人脑模拟器（512个神经元）以来，就一直在从事对类脑计算机的研究。2014年8月7日，IBM在科学上发表文章，宣布研制成功TrueNorth神经形态芯片，如图11.4所示。这项成果入选“2014年
10、十大科学突破“，应用于导航、图案辨认、关联记忆和分类等领域，该类芯片的“脑容量”仅相当于虫脑水平。3神经形态类脑计算机类脑计算研究的目标是制造出类脑计算机，其硬件主体是大规模神经形态芯片。类脑计算机技术总体上可分为结构层次模仿脑，器件层次逼近脑，智能层次超越脑三个层次。通过对类脑计算机进行信息刺激、训练和学习，使其产生与人脑类似的智能甚至涌现出自主意识，实现智能培育和进化。刺激源可以是虚拟环境，也可以是来自现实环境的各种信息（例如互联网大数据）和信号（例如遍布全球的摄像头和各种物联网传感器），还可以是机器人“身体”在自然环境中探索和互动。在这个过程中，类脑计算机能够调整神经网络的突触连接关系及
11、连接强度，实现学习、记忆、识别、会话、推理以及更高级的智能。10.3忆阻器类脑计算忆阻器是天然的突触模拟器件，生物突触会释放Ca、Na离子改变传导，忆阻器通过释放氧离子改变传导性。在忆阻器出现之前，构建具有像大脑那样的形状因子、低功耗和内部实时通信的结构是不可能的。忆阻器的功能特性是所有的电子组件中与突触最相近的。从机理上来说，忆阻器只是两条相互垂直的金属线的一个氧化结。基本的忆阻器可看成一个纳米大小的三明治，面包就是两根交错的电线的交点。神经形态芯片与忆阻器芯片的区别在于，前者需要设计复杂的模拟电路来模拟生物脉冲神经元的功能，而后者则直接利用忆阻器元件实现单个的生物脉冲神经元功能。利用忆阻器
12、大量集成的机器学习芯片可以在硬件层面上模拟大脑皮层神经元网络，以此构造类脑计算微处理器。这类芯片在利用历史数据进行学习的过程中，对于相对于当前时刻较近的数据可以予以加权，突出它们在训练中的作用，这使得整个芯片具备更强的、更有弹性的学习能力。人工大脑根本思想是还原论和整体论相结合，从结构模拟的角度来实现。当人工神经元数量和连接更杂程度达到某种程度,低于人脑的程度、达到人脑的程度甚至超越人脑的程度，其中是否会涌现出意识或智能。人工大脑是一种自下向上搭建电子大脑的技术，一种是利用人工神经元、人工突触、忆阻器等微结构器件模拟大脑结构；另一种是利用脑科学数据和软件方法在现代计算机中模拟大脑。人工大脑的基
13、本单元主要包括人造神经元、忆阻器、人工突触等几种。IBM公司2016年设计出世界上首个人造神经元，相关论文被自然纳米技术作为封面论文发表。人造神经元不同于人工神经元，后者只是一个数学模型，而人造神经元则是利用一种相变材料技术制造出的模拟生物神经元的物理神经元。这是一种纳米级电子原件，由两个电极以及夹在它们之间的一层薄铁电物质组成。后者的电阻，可用类似于神经元电信号的电压脉冲来调整.若电阻低、突触联系会很强；若电阻高、突触联系会较弱。让人工神经突触进行学习，完全是基于这项调整电阻的能力。11.5非神经形态智能芯片非神经形态智能芯片就是不以神经形态为原理的智能芯片。其架构多种多样，但都不以人脑神经
14、结构为原型。非神经形态智能芯片分为两类:一种是传统的神经网络型智能芯片。I960年感知机提出的时候，就有学者尝试用硬件实现这一模型。21世纪初，学术界陆续提出过一些类神经元操作、特定机器学习算法加速的芯片设计，但受限于感知机神经网络本身的应用，这一阶段神经网络芯片并没有得到普及；另一种是支持深度神经网络运算的智能芯片。从2009年开始，这种新型智能芯片开始加速发展，将深度神经网络技术融合到计算芯片也日益受到重视。现有的通用计算平台（CPU、GPU和FPGA等）难以实现高能效的神经网络计算，探索新型神经网络计算芯片架构成为研究热点和学科前沿。根据计算模块的组织方式的不同，神经网络芯片从体系结构上
15、主要分为乘加树和脉动阵列两大类。乘加树结构的神经网络芯片使用指令控制计算流程，灵活通用，适合设计通用神经网络处理；而脉动阵列结构，可以高效复用数据，性能更高，但计算模式固定，比较专用。清华天机芯片2015年，清华大学类脑计算团队就完成了第一代“天机”芯片，2017年进化为第二代一可重构多模态混合神经计算芯片（代号Thinker）。Thinker芯片采用可重构架构和电路技术，突破了神经网络计算和访存的瓶颈，实现了高能效多模态混合神经网络计算。Thinker芯片能量效率相比于深度学习中广泛使用的GPU提升了三个数量级,相比于IBMTrueNorth,密度高出20%,速度高出至少10倍，带宽高出至少
16、100倍。它支持电路级编程和重构，是一个通用的神经网络计算平台，可广泛应用于机器人、无人机、智能汽车、智慧家居、安防监控和消费电子等领域。2019年7月，NatUre杂志封面刊登了清华类脑计算团队的新成果：天机芯片及其操控的自行车。最新一代天机芯片结合了类脑计算和人工智能，结合了面向神经科学和面向计算机科学的方法优势，从而开发出具有人类大脑和主流机器学习算法广泛特征的跨范式计算平台。如图11.24,天机芯片采用28nm工艺制造，核心面积仅仅3.8X3.8毫米，包含156个FCOreS核心，拥有大约40000个神经元和100o万个神经突触，可以同时支持机器学习算法和类脑电路。基于该芯片的自行车机
17、器可以自主响应语音命令，识别周围世界，避开障碍并保持平衡，并对目标人物进行识别、跟随、自动避障。寒武纪芯片2014-2016年，中科院计算所陈云霁研究团队陆续在计算机体系结构领域顶级会议上发表论文，激发了学术界对深度卷积神经网络加速芯片研究的热情。在他们提出的DianNaO芯片中，采用了时分复用的方法，解决了使用有限硬件资源处理超大规模神经网络的难题，取得了100倍性能的加速。后来发展为寒武纪-IA(Cambricon-IA)商用智能处理器，可集成至各类终端SoC芯片，每秒可处理160亿个虚拟神经元，每秒峰值运算能力达2万亿虚拟突触，性能比通用处理器高两个数量级，功耗降低了一个数量级。目前在大型人工智能服务器以及移动端开始应用。
