《2024人工智能 计算设备调度与协同 第2部分.docx》由会员分享，可在线阅读，更多相关《2024人工智能 计算设备调度与协同 第2部分.docx（19页珍藏版）》请在课桌文档上搜索。
1、人工智能计算设备调度与协同第2部分：分布式计算框架前言II1范困12规范性引用文件13术语和定义14缩珞语25慨述25.1 总体框架25.2 适用性36计匏设备技术要求36.1 云侧设备36.2 边缘设备46.3 终端设备17分布式计算力同技术要求57.1 架构57.2 通用要求57.3 组件要求67.4 云云协同要求87.5 云边培协同要求97.6 多端协同要求118云边端分布式计算怫同接口128.1 边修节点管理128.2 部署及更新M8.3 任务运行管理17参考文献19人工智能计算设备调度与协同第2部分：分布式计算框架1范围本文件敬立了人工智能计算设备分布式计算的架构，规定了功能和性能技
2、术要求，定义了分布式计算协同接口.本文件适用于用于分布式人工智能计算的系统设计、开发和冽试.2规葩性引用文件下列文件中的内卷通过文中的规范性引用而构成本文件必不可少的条款.其中，注I1.期的引用文件,仅该日期对应的版本适用于本文件：不注日期的引用文件，其G新版本（包括所有的修改单）适用于本文件.GB/TXXXXX.1-202X人工智能计算设备调度与协同第1部分：虚拟化与调度系统技术规范GB/TAAA-2O2X人工智能异构人工智能加速器统一接口3术语和定义GB/T41867-2022.GB/T42018-2022.GB/TXXXXX.1.-202Xfi）GBTAAA-2O2X中界定的以及下列术语
3、和定义适用于本文件。分布式机器学习distributedmachine1.earning一种机器学习的方法或过程,利用互联附笫作为首选通信蚊体,在不同于系统上完成同一个机潞学习任务，注1:互联网络可包含对域互联网及广域互联网，注2：分布式训练任务不同于系统上砂同完成个训I城任务.注3分布式推理任务,不同下廉统办问完成个推理任务.来源:ISO/1EC2382:2015,2178059.有修改3.2联邦机器学习federatedmachine1.earning一种机器学习方法或过程,能it多个参加者协作构建及使用机渊学习模型而不期谑参加者所拥有的原始数据或私有数据.来曲IEEE3652.1.3.1
4、3.3增量学习incrementa1.1.earning一种分为多个阶段的自适应学习方法，其中在前胆阶段学得的知识被转化为适当形式，以便为后第阶段的新知识提供域础。注1：在机JS学习儆域的某些文赋里.州81学习称为“（机涉学习模型的）f1.ifit（ff）训练-.注2：模型热调是埒Irt学习的方式之一.来源:ISO/IEC2382:2015.2123002.有修改3.4边壕计算edgecomputi11E一种分布式计算方法或过程.其中处理及存储过程发生在分布式系统的边缘.注：计。发生旅近边缘的程度按系统的需求定义设定.来源,ISO/IECTR23188:2020.3.1.33.5集合通信co1
5、.Iectivecommunication-H1.划信模式，其所传递数据在一组处理器单元（称为节点）上处理，其进程或计算节点之间协同工作以进行数据交换和同步.注：一次通倡一股包仃多个接受并和发送行.4缩略语下列缩略出适用于本文件.AI：人工智能（Artificia1.InteIIiKenCe）CPt：中央处理的元（Centra1.ProcessingUnit）FI1GA：现场可编程设排门阵列（Fie1.dProgramHab1.eGateArrayGP1.s图形处理的元（GraphicsProcessingUnitNPU；神经网络处理单元（NeUworkProcessingUnit）RDMA：
6、远程H按内存访问（RemoteDirectMmyAccess）RoCEs基于融合以太网的远程直接内存访问（RDMAoverConvergedEthernet）SS1.s安全套按字层（SecureSockets1.ayer）5概述5.1 总体框架AI分布式计算协同的总体框架见图1,包含：a）提供A1.任务生命周期内的协同计豫支持（如统一资源池化、分配、调度等）；b）支持设备（如云/边/端设备）的分布式运行环境：O实现不同物理都詈形态的设备间的通信、控制及任务管理：t曰*eHWitveaCR1.HatIgHS-IIS2A1.计算设备分布式计算架构注I虚纹板用的钝分是G8XXXXX.1202X中块定
7、的内容,也足分布式管理架构中的必番汛件之.7.2通用要求AI计算设备分布式计算由同察体符合以下要求；a）应能管理机潺学习算法的运行环境配置,包括支持云恻设得、边缘设备和终端设的：b）支持应用在云侧、边例或端恻的AI计算设徐上的运行，满足以下要求：1）应支持云偏模型裁剪、压缩和优化；2）宜支持联邦学习：3）宜支持云内、云边或云端侨同推理；4）应支持云仰分布式训练，宜支持边缘网分布式训练：5）宜支持公边协同的增量训练.C）实现分布式计算过程，符合以下要求：1）应具的容错性，在训练过程中有节点或同络连接出现故隔（如节点、交换或路由设备不工作或性能卜降时，保证原有任务的继埃进行，直到完成；2）宜提供统
8、一的编程模型，屏陂不同机器学习框架或异构计比设备的差异；3）宜能利用坎群中分布式存储设法，根据不同的分布式计算场景（如公侧内部端公,边云等）设置相应的存储方式：-1）应支持计算设备管理，能虚拟化并分配AI加速卡或A1.加速处理器资源，注：计。设备的管理和盟%MGB.XXXXX.1-2O2X.d）分布式多终端协同,符合如下要求：1）宜实现去中心化的把终堆设爸A1.任务协同；2）应实现节点状态的实时维护与共享（含节点资源使用状态：3）应实现在调收实时性保障机制（如超时机制等）：注；集酢期网使用无姚连整仙无妙用域网或越牙）时，可能公出现代侑速率有很I1.不Q定的忸况.-1）宜实现设i状态或能力适应性
9、协同策略（如按可用计算能力调度；注：乡终端设得侬构不同则健力不同,计口资源的分布可能不均物.5）计算调度过程不应彰响其他设在或应用的运行（如正常的视物播放任务不应被打断,或导致播放Q顿等。7.3组件要求7.3.1 机器学习框架用于分布式机器学习任务的机器学习框架，符合以下要求：a）应能在云侧、边侧设符或茄侧等设备上运行：b）配备模型部若工具，符合以下要求：1）应支持模型的云侧部署：2）应支持轻双化框架（特定场景中非必要组件被籽战），在云IW训练的模型,能部署在掂偏或边侧：3）应支持在内存受限的设备或环境中的运行.-1）宜支持械型量化，并在川户需求允许的误差他国内，使模型从公健迁移至端侧或边（W
10、：c）应支持以卜至少1种计算悔同模式：1）云例训练-帮侧推理：2）云俯训练边侧推理：3） Z超上端傀联邦学习；1）云俯一边俯联邦学习：5）云OH-边恻-端侧联合推理.d）宜支持云结边AI计算物同模式，包含但不仅限于：1）云像训域端侧描肽训练箍侧推理：2）公他训练一边侧增H训缘一边IW推理；3）云O1.WI1.城边侧增用训练罪侧推理.e）在储云偏、边例、然恻应用统，的计辄图中间衣示，支持一次训练后的模型在潮、边、zi上的无（格式）转换部署。7.3.2 虚拟化与调度组件A1.加速处理器或M加速卡的虚拟化与调度组件,符合以下技术要求：a）应符合GB/TXXXXX.1-2O2X中规定的虚拟化要求；b）
11、资源网度系统应能啊用AI加速卡或I加速处理渊及其虚拟化实例,包含：1） A1.训绘加速卡：2） AI推理加速卡：3）能用于训练及推理任务的A1.加速卡.C）任务调度，符合以下要求：D应支持云侧之间的训练任务词度,实施分布式训练：2）宜支持边例之间的训练任务调度，支持边恻增吊训练或分布式训练；3）应支持云偏或边刈之间的推理任务调度，支持大模型推理,克服单处理器或单P运行时内存限制：-1）宜支持云恻和边何之间的训练任务调度，健完成右侧训练一边侧增设训级的任务;5）宜支持云侧和编例之间的训练任务调度.完成云（W一端侧协同训练任务（如联邦学习）：6）宜支持云例和端侧向的训推任务调度,完成云恻训练一剧蒯
12、推理任芬：7）宜支持边SS和谓恻同的训推任务刑度，完成边IS训练（如增信训练）一端恻推理的任务。7.3.3 安全组件7.3.4 33.1安全原则A1.分布式协同计算相关殂件的应用，应按图1规定的生命周期和流程识别以下风险，包含但不限于：a）易受物取等攻击的资产及相关攻击模式，包含：1）训练脚本或代码文件；2）训练数据集文件：1/11/)VJKJ.bCdefgh3）模里文件（包含预训练模型文件、训练结果文件和在计算节点中的模型文件。模型文件，在云、边、端侧的完整性被破坏（如被修改）;模型及相关文件（含训练脚本、训练数据集、模型的参数文件等）的机密性被破坏：被恶意攻击，导致输出结果错误，或无法正常
13、输出结果：推埋怆入数规被嘏荻或修改：云侧或边恻的容器构建、部署、运行安全威胁；边一接口的非授权接人和访问:在无中心（如无云似）架构系统中忽略使用热备,冗余机制，造成故据丢失或业务中断.7. 3.3.2安全要求8. 3.3.2.1为训练阶段实现安全防护机制,符合以下要求：a）云恻：D应能对上投到云侧的加密模型、训练数据和训练脚本,实能解密：2）应能在运行访I练脚本前，校验训练镣像文件.b）边领1）应支持云仰下发镜像校验和模型加解密：2）宜支持联邦学习梯度信息的加解密；3）宜支持端例设备上传数据的签名和加密.c）装恻，宜支持联邦学习悌度数据的加密.7.3.3.2.2为推理阶段实现安全防妒机制，符合
14、以下要求：a）云例：1）应支持在公侧配置模型所在容器的以小访问权限；2）应支持模型的解密：3）应能时加载到云侧的钺像实施完整性校验.b）边颜1）宜支持秘钥管理，能对云侧下发的镜像或模型实施校紧：2）宜支持推理数据的加解密：3）宜支持入侵检测，实现用户权限管理，能记录和警告非授权访问；4）宜支持边用户身份校脸，实现应用授权访问，c）删处1）宜支持秘钥管理,对云侧卜发到筑件模型实施身份校脸：2）宜支持推理数据本地加解密：3）宜能在模型上传至云侧或边侧进行推理前，加雷模型；4）宜能在终端设备使用虚拟机或容器时在多终端设备间实现基于虚拟机或容折的安全隔离机制.7.3.4集合通信降集台通信库符合如下要求
15、：a）应实现AI加速卡间或AI加速器间通信（如云侧内部分布式训练所需的通信）：b）应能在下列至少I项集合通信拓扑结构上工作：1）全网状结构（FUUMesh）：2星形拓扑结构（Star）；3环形拓扑结构（Ring）；4）树拓扑结构（Tree）：5） 30TonIS拓扑结构；6） DraKonfIy拓扑结构”c）宜实现同步机制或出时控制机制；d）应支持或兼容至少1种集合通信协议，如RoCE或RDMR等：e）应支持集合通信效率衡价指标如延时、延时方差、延时均值等：f）应实现统一的集合通信接口，宜符合GR/TARARA202X的要求,7） 4云云协同要求云云办同的框架如图3所示，协同过程符合以下要求：
16、图3云云协同框架a）应实现有中心谓度或无中心圜度（如基于云联邦的谢度：b）对有中心调度，中心调度器：1）应能收集和监视全网计算资就的状态：2）应能跨公（或计算中心调度作业，转发和传输作业运行数据：3）宜实J见至少1种调度第3各（如狗我喜知调度、价格序知调度、网络停知调度或数据也知诩度等）.c）对有中心谓度,调度适配潺：D应能收集调度器资源和作业执行状态信息,并上报至中心遍度器：2）宜能向授权用户提供统视图，使其能驱动特定计算资源执行计兑任务,1）宜实现基于统一账户的认证和确权：e）宜实现统一计算常髭计麻和计费.7.5 云边端协同要求7.5.1 管理协同图4云边端协同框架云边端协同框架见图4.管
17、理协同符合如下要求：a）应支持边傀或溺侧中单节点或节点组管理：b）应支持边缘或终端异构设相（如使用不同类型的R1.加速处理器）的管理，提供统一的管埋接口：c）应支持边缘计算任务赛控.包含运行于容涕中的应用：0应支持操作系统异构（如基于1.inUX的操作系统,Android.Wi1.utoWS等）边缘设备的管埋和任务协同：e）应为边携或终端设得提供统一运行时组件,屏藏边缘或终端设备操作系统差异：f）应支持边缘许可证的管理和使用,宜能根据许可信息控制边缘AI计算任务的数小、数据接入路数（如摄像头视频数据、请求并发度1.1.f。或使用时长：g）应支持模型加密：h）应支持秘钊的云侧加密保存：i）应支持
18、班于秘钥的边缘模型运行控物（运行而需解密模型）：j）应支持秘钊的云侧导出和边缘本地秘钥H入解密：k）应支持边缘设备上用于模型解密的证书的合法性校验：1）宜支持远程安全链接（如SS1.）登录、雅视、词试边绿设得；m）应支持云侧对边缘设备的监控，或边缘设备本地的监控，监控的对联包含设备内存、思盘、R1.加速处理器使用率，宜支持运行异常警告；n）宜能管理不小于128个边窿节点：o）宜支待至少2类设备的接入,如：1）移动通信终端（如手机、计算机）：2）摄像机：3）智能机器人：4）物联网传感器：5）激光雷达、富米波雷达：6）信号机；7）气象要索传感器：8）道路单元，b）宜支持基于图形界面的边缘或终端设符
19、管理。7.5.2 任务协同云边任务协同,符合以下要求：a）应支持公上模型训练、边线或终然恻部署、推理的协同模式；b）应支持向边缘设备或终端设备直接部署含行模型的容器：c）应支持大模型在边缘或终谓的部署及推理（在边缘或终第设备功能允许时）：d）应支持边缘或终端设在（在云侧注册后）的肉城运行；e）向支带对边缘或终端设备的功能或服务实施查询和配置（如服务名称状态、请求模式、部署方式、创建时间、描述等）；0应支持边摩AI计算任务的启动和停止：g）宜支持边缘AI计算任务的创建、查询、修改和捌除：h）宜支持设定边缘AI计总任务的运行计划配置（如按时段或固定频率：i）宜支持边缘或终端设符士应用的服务次数统计
20、（如谓用次数、词用成功率等）：j）宜支持法于多个边缘设备形成资源池，实现以下功能：1）资满!池创建、状态查询、附置修改（如修改描述、边缘节点等：2）池内设备间的负我均衡，自动分发清求、调度和利用边缘或终战设在；3）池内设得节点管理,包含节点创建、修改、州除、激活、去活、状态杳询.k）宜支持边模型网流到云上的增ht训练：1）宜支持边缘节点从云侧长取钺像完成本地更新：m）在边缘或终端计算任务运行期间,边域或终掂设备宜能接收云（W下发的模型,完成模型更新。7.5.3 数据协同云边数据协同，符合以下要求：a）应实现梯度数据和增圻样本数抠的云他压缩和传输（在云便与边缘或终端之间,包含边缘推理数据在授权状
21、态下回流公1W；b）应用于多媒体处理场景的边侧域端网设备,符合以下要求：D应支持云何、其它边或终湘设备之间的数据转发或互访：2）宜支持多媒体数据的转码、点播、自播,录像和检索：3）宜支持地图数据的共享分发。C）边侧设备支持数据存储时，符合以下要求；D应能符推理结果的本地缓存：2）应能存储媒体数据、关系型数据（如通过数据底实现八谈俏数据或时序数据，d）应支持数据实时传递（如监视器或撮像机聚架的视频数据回传云侧分析）。7.6 多端协同要求7.7 6.1多端数据协同B4SW)WGA4(VSG0o图5多端协同铤架多端办同框架示意见图5.多擢数据协同,符合以卜要求：a）应能在多个终端设爵间传输数据.实现
22、设备间的数据读写：b）应支持多端、学模数据（至少2种模态）融合；C）宜实现黑线时数据在痂州设备的自动保存：d）宜支持端恻时公侧或边侧的自动数据同步（网络状态允许时）。7. 6.2多端设备协同多端协同系统，应支持跨设符的输入、输出（如摄像机捕捉的影像，声接在大屏显示，并不需在移动遇侑终端等主控崩介入或协网.7.63多端计算协同多潜协同系统,符合以下计算协同要求：a）应能拆分并分配任务到多个端侧设需上，分别计算完成后整合、返回结果；b）应支持以下推理计算任务：1）发起、拆分、分发和管理推理任务；2）玳仰设备能依据自身计算、存偌资源动态加岐对应模型：3）端恻设备能按节点状态、网络状态、计算功耗等因素
23、判断并选择协同模式；4）玷说（实现容错机制，包含异常检测、任务.重试和失败重发。8云边端分布式计算协同接口8.1 边缘节点管理8.1.1 概述边缘AI计算节点管理过程的示意见图6.管理操作台节点查询、删除和注册等.W1.H!tt,峦雁日&:W搏IfiftCODKubemetes.KdbeEdcef)注：管理阻件般何鲁在云测或按富拽”.都件在.特定服务找上.图6边缭节点和节点组的管理8.1.2 接口边缘节点管理的接口,应符合表I-表3的要求:表1注册设备名称功能语义描述参数输入，胞出各注边壕或蹂端设备注域注圻特定边缘或终端2备到计口协同系统批址注册攻他.我认为I相入可选设备描述输入可选是否开启i
24、!ifr上的IU处理器输入可选4日志配置输入可选设备名榆入必选设备标签81（用F提示设备分组）.说明设备可能的类型.分S1.1个设需可楣有多个标芸.输入可选有效时网输入可选设备标识.设备注册成功后.返何系统给予的改得标识的出仍选Ifi用丁包含AI加速处理然的边缘或终端设备.接。在特定廉统中实现时叫根M系统需求地加参数（如指定A1.加速处理器的布号）.表2查询设备名梆功能语义描述参数抬人,输出备注M设备状态使用设备标识查询通日收备状态设备标识输入必选设法处理抬柒构输出可选设符内存空间输出可选设密名字制H必选设各描述输出可选设备用标识符输出可选设瞽纲状态输出可选设备在设番纲中的工作类型包含管理IV
25、点.工作节点等输出可选设笛状态.包含未注册运行中,AtFft.停用,升级中等输出0选中央处理拓个牧徜出可选以加速处理器信息,包含个数、X1.号等输出可选掇作系统佶息，包含名林、版本、类型等输出可选是否使用容器输出必选是否启用了A1.加连潺输出可选设备标签列表制H可选设备II2Unii可选在系统支持或应用设备笫现时适用.接”在特定要统中欢现时,可根据史经逑增,W叁n指定AIM中文涉的家号），表3删除、启动或停止设备名称功能讲义描述参政输入，箱出备注册除启动或冷止边维或终端b改备删除、后动或停止特定边tt1.性箱设备.删除后的设备.不再参加计Jt任务的协碑设;标识输入必选操作类型输入可选操作状态输
26、出必选按门在制定系统中实现时,可根据系统禺求增却誓致（如指定M加速处理器的里号）,“在柒些忝统中.M除、启动、停止设&可分为多个接口分别实现.,本分数仅对启动、停止，作有效.8.2 郃法及更新8.2.1 概述模型或应用从云侧部詈至边缘或终端设运行的操作，包含部署创建、更新、删除、启动、停止等.8.22接口铁里或应用在边缘或终端节点上的部詈和更新，应符合衣4入7定义的接11:表4创建部罟名林功就语义描述I参数I输入，询出各注创建部bX创立应用加利设备标识列农输入可选，设每机标识输入可选应用描逑榆入可选许可证包含使用时长Bi度，计费量纲,并发路数许可，允许的实例ttW输入可选部罂名称输入必选部署标
27、签输入可选应用标识输入可选应用名字输入必选应用参数配汽输入可选应用来源地址.如检像地址或存储限务器中的地址输入必选容器门动参数输入可选多卷启动命令输入可选应用版本输入可选片舞总行资能配置.包含处理器数ft.A1.加速器致I1.内存数Jt等输入可选卷禽散.如挂致路径.於类型，卷幺称.权限.卷来源等输入可选何帮加I路所需处理数据，增加的资源数B1.用于满足可伸能边缴计算的需要输入可选都照根作状态筠述输出可选已经就能的实例节点数输出可选实例节点数输出可选创建时间制H可选加署名标输出必选邮部标识输出必选部署的状态包含运行创建中、创建失败.R动中、启动关收、停止中、件止失败.IH除中、IM除失收、休眠等
28、输出必选都黑姑果则表.包含林个节点上的都济结果（失败的郎*.含有错谯俏感）输出必选设备标识或役备组标识应至少选挣1项.“接”在特定系统中实现时,可根据系统霜求增加参数.在某些系统中可指定2个资源配,分别定义容81运行可使用的最大货源和最小资海.表5更新部署名辨功能语文描述参数输入询出a注更笫祁更新鹿用部署部罪名弹输入必选部Y标线输入可选应用标识榆入可选应用名字Q必选ff1.;IVH输入可选应用来强地址.如处像地址该存储JK务JS中的地址输入必选容器启动拳数输入可选容器后动命令Ift入可选应用版本相入可选容拓运行资源配置.包含处理界致fit.AI加速器数Iib内存数信等谕入可选.stt.Jtmw
29、.卷类亭卷幺称,读写极尔，赛来源等输入可选打措加I路所需处理数M.斓加的货源侬量，用于满足可仰端边缘H*的需要输入可选邮署接作状志箱述输出可选已经就病的实例节点数物出可选实例节点数输出可选创建时同输出可选部署名师制H0选邮密标识输出必选部出的状恭包含运行.创地中.创建失败、后动中、启动失败.停止中、停止失败、JH除中、划除失畋、休眠等输出必选邮署结果列表.包含圻个IV点上的都照姑果（失败的就N,含有错谯信息）输出必选:按Ii在特定系统中实现时，可根据系统需求增加备数.“在某些系统中，可指定2个资源配A，分别定义容运行可使用的很人济源和以小资源.表6删除部署名棘功徒语文描述参牧编入/输出备注BJ
30、除部删除应用部署部Y标识输入必选知X删除结Jfi.BJ除失败时包含Hi误信息的出必选接”在特定系统中实现时可根据系统/求增加缪敢.表7启动或停止部署名称功能选义描述餐数怆人,检出卷注启动或停止部K的应用Fi动或停止麻鲁的血用部罪标识输入必选设各标识输入ci操作类型，包含用功、停止榆入必选部詈启停结娱.失败时包含错谀一的出式公“接口在特定廉统中实现时.可根M系统制求增加参数.8.3任务运行管理8.3.1期述1个部署下可运行1个或多个任务（包含应用或模型），任务运行管理包括创建、杳询.和剧除等操作.8.3.2接口任务运行管理接口，符合表8表】0的定义。表8任务创建名称功解语义描述数r入/输出在注创
31、建任务创建任务任务标识输入必选任务启动器息,包含总动时向、运行频率、运行粮代（按领率.或按时间）、每天运行时段、每次运彳r;输入必选任务描述输入可选任务名字输入可选任务贲俎怡息，包含处理；8,内行用Ift警临入可选任务输入输出能配置信息，包含给入输出敛据及类用输入必选创建结果的出必选接口在特定廉统中实现时.可根M系统能求楙加参t表9任务状态查询名称功能ift义描述参数输入，输出备注任务状态强询管询给定任务的运行状志，资源消耗等情况部标JH输入必选任务标识输入必选任务描逑血H可选任务名字制H0选任务创建时间UUH必选任务资源信息.包含处理蹲，内存用量等输出可选任务输入输出注配置信息，包含粉输出必选入输出敏期及类型任务启动倍思，包含用动时间、运行箱率.运行馍式（按依率或按时问）、短天运行时段、集次运彳加4长等WHH可选任务执行信息.包含处理器滔耗.内存消耗等怆出可选任务状态估息,成功或失败（失败时给出错决信息）输出必选“接口在特定廉统中实现时可板M系统；fi求增加参数.表10任务恻除名称功能语义描述参数依人/输出任注M除任,务耐除否定任务部署标识输入0选任务标识输入必选卅除援作状态.成动或失败失败时给出错误信必）输出必选,接”在特定系统中实现时可根据系统能求增扣参敷.
