《工业大模型技术应用与发展报告1.0-工业互联网产业联盟&中国信通院-2023.12-25页正式版.docx》由会员分享，可在线阅读，更多相关《工业大模型技术应用与发展报告1.0-工业互联网产业联盟&中国信通院-2023.12-25页正式版.docx（36页珍藏版）》请在课桌文档上搜索。
1、工业互联网产业联噩AllianceofIndustrialInternetCAICT中国信通院工业大模型技术应用与发展报告LO2023.12中科云谷科技有限公司浪潮集团有限公司中科视语科技有限公司苏州海赛人工智能有限公司北京通用AI研究院树根互联股份有限公司华为技术有限公司IBM（国际商业机器（中国）有限公司）美云智数科技有限公司中科斯欧（合肥）科技股份有限公司编写单位（排名不分先后）牵头编写单位：中国信息通信研究院参与编写单位：百度在线网络技术（北京）有限公司羚羊工业互联网股份有限公司创新奇智科技集团股份有限公司智昌科技集团股份有限公司中国科学院自动化研究所中工互联北京科技集团有限公司西门子
2、股份公司航天云网科技发展有限责任公司威派格智慧水务股份有限公司卡奥斯COSMOPIat阿里云计算有限公司腾讯计算机系统有限公司人工智能的几个相关概念IIIIIIIIII大规模预训练模型；人工智能机器学习深度学习IGPT生成式Ai(AlGC)CZ通用人工智能f大模型：即基础模型，在海量数据和计算资源的基础上通过模型结构预先训练出来的，具有大参数规模的深度学习模型”狭义多指大语言模型，广义还包括CVx多模态等各种模型类型细刀模EGPTs生成式预训练模型，大模型的一种类型，可生成内容、ChatGPT是GPT的一个典型产品生成式AI：能够生成文本、图片、视频等内容的智能技术，大模型为其提供了新的技术手
3、段技术场景，早期GAN用于内容生成效果有限，如NLP逐词生成大模型拓展了生成能力，如实现多领域多风格图像/文本生成一示便命通用人工智能：Al终极发展目标，具备认知、理解、推理、二学习、创造和社会协作等能力大模型具备学习、生成等能力，但还缺少完备的推理、认知能力*s0大模型+大数据+大算力成为发展主旋律(ChatGPT)1.1大模型成为通用Al新范式，引发工业应用变革讨论Al产品渗透速度全球排名第2引发产业领域应用的热烈讨论与憧憬干亿参数基础模型GPT1:LI7亿GPT-2:15亿GPT-3:1750亿GPT=4:1.48万亿.2年热门应用用户破亿所需时间TB级数据超3000亿单词830GB代码
4、数据1000个外包团队标注E级智能超算总算二超195PFloPS我国最快超算神威太湖之光1.7倍个短视频社交9年2即时通讯1应用程序商店2个月i5；、/AppStore微信TikTokChatGPTThreads产业应用场景成为大模型最佳练兵场一科技日报Al大模型落地背后,正带来一场智能制造的系统重构一百度工业大模型将会带来一场新的工业革命,它将来会成为工业领域的基础设施-中工互联制造业是Al大模型的重要战场,未来10年最大的机会_阿里1.2工业大模型与专用小模型成为工业Al发展的两条协同路径工业大模型=工业+大模型0满足大模型技术基本特征 TranSformer为基础框架 在大量通用数据上进
5、行预先训练，以实现良好的通用性 模型参数一般达十亿以上（最大模型参数已达万亿级）具备在工业各环节进行应用的能力，或与工业装备软件等融合赋能新场景：代码生成、特定任务：点状场CAD生成等新应用景应用效果更好应泛化性强：单模型应对多任务，更适合长尾落地低成本运维：低成本模型更新快：参数量程开发+维护少，可进行快速迭代票轻量化部署：所需存W储空间和算力更小1.3大模型初步形成赋能工业的核心方式与产品形态3类主要赋能方式当前（可用于）工业领域大模型超30个4类模型产品形态基于通用底座直接赋能行业SIEMENSPLC编程用友YonGPTOpenAIChatGPT以黠雅一星火大模型大模型API调用或软件方
6、案基于ChatGPT直接开展智能客服等应用基于通用底座进行场景化适配调优或形成外挂插件工具0曜HUAWEI制造、矿山等行业大模型Bat卷目.航天、能源等行业大模型EinsteinGPT料Wqtgm式说大模型成熟工业产品叠加基础模型能力倍福将大模型融入TWinCATXAE客户端，实现基于对话辅助编程面向工业或具体任务针对性开发authfntise3D打印GPT!外挂插件工具工业管理软件企业Authentise推出插件,用户可查询最大的增材制造知识库浙大开发用于表格处理的TabIeGPT用于私有化部署的一体机科大讯飞推出星火一体机2.1 大模型赋能工业领域的适用边界与核心能力适用问题：大模型并非万
7、金油核心能力工业领域应用变革大场景工业场景具备一定通用性涉及关联复杂的智能彳壬务数据边界对决策效果有直接影响大语料工业场景的基础数据/语料/规则 约束充足问题边界清晰结果存在于封闭信息环境，不 依赖语料外的信息语言理解预置型对话与设备/工业系统的自然交互与推理,生成创作规则式生成T工业代码/图文内容的涌现式生成局部建模预测基于全局信息高效高精度预测优化预测/多模态单一格式工业数据处理T多格式数据综合转换分析2.2应用总体视图：4类核心模型、15+应用场景，目前处于初步探索阶段工业相关性一药物研发/蛋局白质结构预测CAD草图领智能辅助绘图低研发率先切入语言大模型专用大模型多模态大模型视觉大模型
8、蟠诊断 具身智能工业代码调试与领Q嘴F殳.三领.地道僦与 装备靴问答躁鬻贻智敏算分析I1教学与实训i;，智能售后客服i邮件艘三设备生产f三节最具变革潜力率先切入部署方式当敝构化*Eh15%cvx&I2%大语百通75%O10203t)40506070通盛横型启用模型的出化道比精理领域专用瓒串格式的换内后生成通用识别即T交互虹识发现综合JS用信通院统计的全球79个大模型工业应用案例工业各环节围绕语言、专用、多模态和视觉四类大模型开展探索当前以大语言模型为主，4类模型应用占比：75%、15%8%和2%通用模型的场景化适配调优是主要部署方式，问答交互为主要应用模式2.2 (1)大语言模型：主要应用于工
9、业问答交互、内容生成，以提升任务处理效率为主，暂未触及工业核心环节有望形成具有认知智能的数字员工及超级自动化链路,实现从需求理解到规划、自动化执行及结果交付的全链条能力工业相关性部署方式:业代码生成:基于输入文本实现PLC代,生成与辅助编程通用模型应用模型的场景化i舌国特定领域专用模型24%68% 8% 01020304050应用模式知识发现I 3%问答交互74%通用识别I内容生成21%1020304050问答交互：应用相对广泛，行业与设备的(半)开放数据是主要语料发备控制与维保助手T 从基于对话实现设备指 令识别与维保知识获取L工业管理助手:实现Bl数据查询与图表绘制工业文档外挂与快速 检索
10、:实现设备诊 断、知识查询、员工 箝训、设计合规检查，用文档生成:基弓输入文本实现设计方 案、报告与邮件编写研发生产设备管理内容生成问答交互运维助手管理助手检索助手内容生成:工业代码罗克韦尔：将数字挛生与AIGC相结合, 实现设备状态以及设备故障原因咨询C3：通过自然语言对话,以文字+统计 图完成业务指标的分析和洞察中工互联：基于智工大模型实现跨行业、 跨领域和跨岗位工业专用知识检索已能实现通用内容和PLC基本控制逻辑代码的生成SIEMENS西门子通用内容 BACANCY西门子：与微软合作，基于GPT开发代码 生成工具，可通过NLP输入生成PLC代码BACANCY：基于RPA+GPT实现自动邮
11、 件回复等功能2,2(2)专业任务大模型：围绕研发形成辅助设计、药物研发两个重点方向，进一步增强研发模式的创新能力面向工业设计、蛋白质结构预测及药物研发创新等场景,扩展创新边界、降低创新成本与时间工业相关性需求导向的辅助设计自动生成大量符合需求的设计,并与既有零组件及加工能力结合优安药物/材料研发突破*篙效研发:整合基因)I 结构库,加速材料发现、药物分子结构发现、性能预测效率智能辅助设计：基于图像或文本进行2D-CAD草图构建DeepMind :基于图像或文本进行2D-CAD草图构建,受样 本数量+生成规范的限制，仅个别企业开展验证的索/基于470万CAD草图数据训练,每个CAD草图对应构建
12、草图生成规范药物材料研发：聚焦蛋白质践物的性质、结构与匹配能力的预测优化Meta：ESMFoId模型能够基于序列输入，实现蛋白质结构和序列的预测，模型参数已达150亿，仅2周完成包含罕见物质的6亿+蛋白结构预测研发设备、生产、管理格式转换知识发现华为：盘古药物分子大模型，能够基于图结构药物分子输入，实现高效的药物分子生成和药物分子定向优化，生成1亿药物分子，新颖性达99.68%2.2(3)多模态大模型与视觉大模型：在装备智能化和视觉识别领域应用获得初步尝试结合视频、语义、执行等多类型数据综合分析,有望构建认知能力的装备、系统方案及智能工厂工业相关性+外挂知识库,对异常图像、故障机理等进行融合分
13、析,提升复杂异常识别度具身智能复杂环境虚拟训练与交互:基于视觉语言动作大模型识别当前环境自动生成控制指令,增强研发设备多模态大模型视觉大模型生产管理、断:多模态大模型t人复杂任务蚯替代原有小模型,实模型多视觉6测/设备巡检:基于视觉大模型应用模式综合应用14%问答交互38%通用识别41%内容生成7%够模态大模型视觉大模型视觉大模型:在有限数据前提下增强单个Al质检/巡检模型的能国家电网公司sJ三g三国家电网：电力大模型每分钟处理100张异常图像、同时多模态大模型:工业异常检测与机器人领域实现初步应用，通设备诊断：基于对话，实现颜色、形状、数量等复杂异常的详细描述胆识别问答交互1综合应用具身智能
14、：指令理解+感知环境信息+虚拟化方式训练，自动生成机器人动作规划路径:利用语言视觉大模型根Gcce据图像进行工业异常检测，并输“出高质量特征描述斯坦福：基于视觉语言模型，驱动机器人在虚拟空间生成规划路线谷歌：RT-2基于视觉-动作-语言大模型，利用网络图片文字数据训练，在陌生情景执行率达到62%3技术体系：大模型是工业Al深度学习路径的深化与拓展业配工适 Il工业场景与应用适配技术数据可用K小样本）、可解释性A模型效率.大模型部署通过场景适配和多种形式部署调用, 实现工业大模型落地赋能应用,AI应用技术的工业领域迁移算法技术核心理论Transformer.知识工程专家系统知识图谱数据科学机器学
15、习深度网络揄出模型CVx语言、专用大模型支撑基础框架平台工业数据/语料算方其他学习方式专用大模型有望成为赋能行业主力军大模型与知识工程等固有技术融合成为工业应用探索方向硬件、数据定义大模型能力极限,高质量工业数据成为大模型从能用到好、一用的有效途径L通用Al（工业）大模型3.1算力：端/边缘侧推理的大模型专用计算有望成为未来趋势A大模型训练推理算力需求相对可控大模型每10亿参数(IG模型文件)所需最低显存需求模型精度训练显存微调显存 (LORA)推理显存float32（全）14G5G4GFP167G2.4G2Gint83.5G1.2GIGint41.8G0.6G0.5G： 西工大：基于大模型的
16、多设备协同，采用云端统一控制，需求为单卡40901、H联合华为发布 星火一体机， 提供2.5P算力工业边端侧推理需满足工业应用及峰值DQPS等需求百亿参数大模型，使用1张英伟达A100GPU进行推理,每秒生成的token数大约为60已有大模型一体机及端侧优化芯片，实现推理加速：爰芯元智-AX650N芯片J可达361FPSI工业算力智能分配可能成为关键云端大算力和终端小算力的平衡使算力分配和性能达到最优3.2数据：海量高质工业数据/语料库将成为落地部署的关键要素预训练（行业级）二次训练基础数据z三三微调（场景级）应用PromPt语料视觉大模型十万级某模型A:IoOW+工业图像对数据配比要求较高工
17、业数据在所有数据的占比约10-15%千张级某模型A:1000-100OOf部分简单场景数百张千级问答对语料语言大模型某模型A:40TB中文文本某模型B:2000个左右工业问答对专业任务/多模态模型效果与数据量强相关，通常需亿级以上规模数据集RT-2:13个机器人在办公室等环境中收集的17个月数据盘古科学计算大模型：17亿个化合物分子的类药化学空间Meta-ESMFoId:1.25亿蛋白质分子结构数据几类核心提示语料库 工业问答检索提示词问答场景：X查询内容-X回复格式 工业内容/规划生成提示词分析规划场景:X目标X语言-X生成格式 控制指令提示词设备控制场景：通过function+prompt
18、将语言指令和action映射33工具链+模型：低门槛开发和轻量化部署成为工业大模型探索重点各主体围绕大模型开发到部署全流程工具链，多推理后端兼容、半自动微调成为重点与多推理后端兼容，实现工业低成本迁移媒re飞桨通过标准化部署接口,实现不同推Bag百度理后端的零成本迁移.F兼容20余家芯片厂商硬件设备，实现云那边端全场景协同模型微调由手动向半自动化演进手动调参半自动化调参jMicrosoft可视化界面模型性能参数设置观测I企业调参方式MakerSuite工具prompt自动合成数据扩充数据集OpenAI人工：国会基于信息抽取能力，简化训练数据获取模型性能集成AlGC能力，基于自然语言实现调参34
19、基础模型：通用大模型的快速演进和专用大模型的能力升级面向更多样数据类型、更强综合能力的大模型技术迭代创新，为工业领域应用创造更大前景专业任务大模型的数字支撑能力提升是主要方向,在药物创新发现与产品设计形成初步成果GPT-4.5融合了处理 3D模型和视频的能力懈细分方向大模型数据集大小Meta蛋白质结 构预测等ESMFoIdUR50/D1.25亿（1 维）基于序列数据开展优华为药物分子药物分子化，为现阶段主流生成优化Pangu17亿（2维）深势科技分子性质Uni-Mol多数据集混合基于分子特性开展预测等2.09 亿（3 维）探索，在领域93% 数据集中表现最优深势科技发布Uni-Mol ,直接将
20、分子三维结构 坐标信息作为模型输入输出1、时序数据大模型有望最大化利用海量工业设备与过程数据，赋能流程优化、设备诊断和异常识别TimeGPT训练：超100O亿个时序数据点测试：超30万个时序数据集，开展时、日、周、月的预测评估2、多模态能力持续创新，加速实现工业图像几何、机理、文档等各类数据模型的综合感知和认知推理1、依托大规模结构化专业数据嵌入表示能力，训练数据样本的全面性是提升模型性能核心2、由一维序列、二维拓扑图转向三维表征的先进表征技术是探索方向3.5大模型+工业知识图谱：大模型可能对通用知识图谱产生一定冲击，融合共生是发展趋势训练前训练中加速图谱构建到应用过程本体构建 知识图谱直接文
21、本化. 作为预训练语料使用大模型PromPt生成事件的本体 将知识图谱隐式地加入到模型训练 谱中的结构化信息（三元组）融入预训练模型 将知识图谱作为大模型训练评估利用GPT生成标注数据/数据清洗，降低知识图谱标注端成本知识抽取与应用基于GPT做信息抽取、图谱补全 、一训练后知识图谱知识图谱注入prompt/知识库外挂，增强结果可用性对大模型生成结果进行知识校验,增强事实性增强大模型事实验证能力,扩展专业知识范畴,提升可解释性赋能大36应用部署：三类核心部署方式，当前以通用模型场景化应用为主通用模型应用（公）无参数更新-PrOmPt设计通用模型场景化应用外挂知识库（公席）参数更新微调（公/私）特
22、定领域专用模型（私）部署原理工业应用PrompftgvbAPI接尸/插件通用关模型工业应用工业大模型上下文学习/知识梳理微调/量化三储/增强PromPt设计匹配/检索*通用大模型,外挂知识一座.私有数据库4通用大模型华为二盘舌行亚天模型一1 ,通用场景适用领域2,场景公开语料充足基于模式通用能力,结合数据相对充足,任务工业领域知识信息工业语料依赖性强典型场景设备控制、文档处理、邮件回复/ChatGPT:可直接生代码生成、故障缺陷提取分析、企业培训/百度-文心：上传设备故障研发辅助、生产优化应用案例成简单功能的西门子文档，分析故障原因/SymphonyAI:外挂工业数据集，实现机器诊断/Sale
23、sforce-EinsteinGPT:基于ChatGPT与自有数据，提高效率数据充足、专有性隐私性强,全部依赖领域语料药物研发、高性能材料研制/脸书-ESMFoId:蛋白质结构预测，150亿参数/谷歌PALME:基于机器人17个月数据的VLA模型4产业体系：不同主体布局以及技术产品升级能力推广电补丁工具创新前沿探索打诵“涌田岸庭尾一泊土侪落大樟型融入已有-T业而向空宗仟务/颂墩典樟那拈术和产品箓前沿发+行业赋能”全链条技术产品模型与轻量化工具方向创新的引领者4.1大模型+装备：增强具身智能水平，有望提升工业设备灵活性和协同性输入任务信息（文字）从桌子上拿篮球环境信息（图片）模型与环境交互反馈，
24、完成任务执行控制指令1 .综合分析能力综合视觉、语言、空间、理解、决策能力，从被动感知向主动认知跨越2 .任务执行能力无需控制代码预设，实现模型对机器人直接控制3 .强泛化能力对于陌生场景，无需针对性训练或模型微调，通过多步推理和知识迁移控制机器完成任务2022.12202332023.72023.10RT-IPALM-ERT-2RT-X首个Transformer大语言模型+视觉-语言-动通用机器人大机器人视觉模型作模型VLA模型+数据集基于输入图像和简单将复杂指令任务实现大模型对机RT-1-X+RT-2-X,文本指令执行动作分解后调用RT-I一一执任动但一器人直接控制特定任务效率提一一一汨:
25、3倍，RT-3、RT4、RT-5?多类别机器人适配新任务/技能探索亲网境/对象株口理解；多机器人协同在开放场景、柔性协同、环境恶劣的工业场景极具应用潜力装配分拣、物流运输柔性生产4.2大模型+自动化：探索极为初步，距离实际应用还相对遥远基于大模型实现简单控制代码生成，但当前语言匹配度和生成准确度仍有待提升基于多轮对话能够实现代码优化与错误修正代码重构代码生成ABBABB:通用大模型工业代码生成能力验证生成工业代码逻辑正确率64%,执行成功率39%能够准确生成计数器、定时器等标准算诔，交通控制状等控制代码，前馈、压力控制等流程代码%包含控制逻辑、接口需求的复杂PromPt设计I那.标准化的工业控
26、制函数库构建挑大模型接收文档长度与模态限制战生成代码工业场景测试与应用倍福、西门子：将大模型融入客户端，实现辅助编程Beckhoff倍福：将大模型融入TWinCATXAE客户端，实现基于对话辅助编程SIEMENS西门子：联合微软开发工业C。PiIOt工具并将西门子其集成于自身工程框架，通过语言交互实现自动化代码的快速生成、优化和调试参数公与集成基于大模型的控制参数整定已有实验性探索西门子：利用GPT-4开展非线性多因素PlD控制算法整定，并完成某行业具体工况下的模拟验证4.3大模型+工业软件：从效率精度提升到应用开发模式重构人机交互、执行处理效率提升精度提升匹配、预测、洞察水平经营管理软件查找
27、交互效率统计分析、业务问答助手精准数据洞察、市场营销开发应用模式变革零代码开发工业软件需求到应用零代码化,开发周期由年月提升至天级大模罂合程研发设计软件型查找、设计与仿代码/图形化界面对话式交互界面二维图纸3DBIM模型数据积累为积累模型能力增强（思维链）生产管控软件人机交互效率基于语言的自动排产自动监控与统计生产数据分析水平质量控制生产数据深度分析端到端执行复杂任务自动生成中间步骤,替用户拆分并执行复杂工作集成式赋能形成整合所有工业数据知识资源、工具、人的智能交互引擎5当前挑战应用局限 性工程化局限性场景选择难大模型如何应用于生产或开展模式创新还不清晰，且无法直接判断ROl机器视觉VS大模型
28、机器换人，可解问效率提升收益较难题及ROl十分清晰量化计算工业语料匮乏工业场景复杂，导致高质量工业语料难以收集，制约大模型性能IoO张VS10000张+针对具体场景，小模型仅需百张图像即可完成训练，大模型微调可能需万张低时效性大模型的认知决策取决于历史训练数据，在解决动态工业问题的应用效果较差抱歉，截止黎知识截止日明2021年9月，我无法S供2023年的事件信息.ChatGPT训练数据集截止到2021年9月，无法回答训以外的问题低可信度具备广博知识，但信息精确度低，制约工业核心环节/直接决策场景应用模型幻觉VS工业场景容错率大模型准确工业场景准确率需率80%求99%+甚至100%私有化成本高私
29、有化部署大模型的算力成本+人工较高，多数企业难以承担十万级VS百万级AI专用小模型成本国内Al企业私有化设备售价100-200W系统集成难业务系统差异性导致工业大模型难以由统一口径集成系统数据MESERPCRM工业大模型展望：Al与大模型加速赋能新型工业化Al与工业融合展现强劲产业增长势头工业人工智能探索日益活跃，存量优化+增量创新并行推进智能升级20222032工业Al市场规模（亿美元）1000995.3赋能工业程度80060040020020.429.B-213.8I-MM202220232026202820302032*数据来源：marketresearchfuturexMMRAl及工业Al初创企业数量（个）“数据+机理”深度分析存量优化提效“智能供应链优化增量创新增值核心环节演进+、调度方案生成数据初步分析.、工艺流离优化设备预测他维护工业视觉等生产外围应用A安市巡检A工*专家系统声.面向研发和产品的价值创造b仓礴圾铲智能产品智能单值服务2023基于深度优化+创新的知识发现，AI驱动岑物材料研发G备,升交互力创新能力,融合,协作,共赢共同把握工业互联网的历史机遇
