《大规模容器运行平台研究.docx》由会员分享，可在线阅读，更多相关《大规模容器运行平台研究.docx（15页珍藏版）》请在课桌文档上搜索。
1、企业研究开发项目计划书（自主开发类）项目名称大规模容器运行平台研究企业名称XXXX企业法人（签名）项目负责人电话项目起止时间一年一月至一年_月填报日期一、立项依据1 .国内外现状、水平和发展趋势云计算作为一种服务的交付和使用模式，宣告了低成本提供超级计算服务的可能。2007年，云计算作为一种商业计算模型兴起，最初较为明确地提出云概念的是GoogIe公司。云计算被认为是以按需、易扩展的方式获得所需的服务，这种服务可以是IT和软件、互联网相关的，也可以是其他任意的服务。随后，云计算由于能与提倡共建、共享、共赢的新一代社会网络完美组合，因而迅速成为业界的焦点。云管理平台是一种利用大规模灵活高效运算单
2、元通过IP网络相连而组成的运算系统，用以提供各种计算和存储服务。由于采用虚拟化技术，为IT技术发展提供了新的技术手段和业务创新模式，不仅是降低建设和维护成本的重要手段，更为企业技术、业务和管理创新带来了新的契机。随着近些年云计算的迅速普及和高速发展，涌现了AWS、Azure.Google以OPenStaCk组织日趋成熟的IaaS平台，解决了以自动化方式组织、管理和使用大规模硬件资源方面的需求，但应用架构层面的演进不容乐观。2 .项目研发的目的、意义传统的三层架构应用，往往通过虚拟机的方式在云平台部署，并未针对云计算平台的特点做充分的优化。复杂的分布式互联网应用，多数通过与底层特定云平台紧密绑定
3、的DeVOPS工具来部署和管理，缺少跨云平台的灵活性。试想如果我们把每一种类型的IaaS都看作一类品牌的服务器，我们的应用实际上是与硬件紧耦合的。那么这跟越过操作系统，直接针对CPU的机器指令开发程序，有何区别呢？DOCker的出现，不仅为使用LinUX轻量级容器提供了便利的工具，更重要的是它将引发互联网应用架构的革命。主要体现在以下几个方面。 以容器为开发、测试和发布的单元，将使单机、私有云、公有云的界限模糊，让开发者更加关注应用开发本身，显著降低DeVOPS的压力（缺乏复杂分布式互联网应用的运维能力，是阻碍传统企业转型互联网架构的门槛之一）。 传统应用在云平台上，仍旧面临高可用性，数据吞吐
4、瓶颈和安全的考验，特别是大容量和大流量的数据库节点，是企业应用在互联网架构下获得弹性的一大障碍。数据和服务，是否可以做到分布式，这是目前架构师面临的巨大考验。轻量级容器在快速启动、一致性、服务托管能为突破这些障碍的一大利器。 Docker技术的横空出世，与目前从SOA概念延伸出来的“微服务”架构可以紧密结合，大大提高企业交付软件的质量，快速适应瞬息万变的市场需求。Docker为云计算2.0最核心的技术，目前国内外各大主流IT公司全面宣布拥抱并支持Docker容器技术，结合目前主流的Openstack技术。将给企业带来全新的IT架构能力，大幅度提高企业的开发/运维敏捷能力，提高应用敏捷能力，适应
5、快速变化的市场需求，从而从企业架构层面提高业务的敏捷能力。同时DoCker被誉为云计算2.0的触发器,是从xxx4年至今在云计算领域最前沿的技术，目前硅谷在该领域有近200家创业公司，而在国内目前仅有10家左右。3 .本项目达到的技术水平及市场前景由自主研发基于Docker的PaaS云服务平台，包括企业级容器云平台、大数据支撑平台、PaaS平台的中间件服务、企业咨询（微服务/DevOps）、镜像加速（高速镜像仓库和私有仓库）、应用市场（海量应用一键部署）等，使用户可以一键式的快速生成移动互联网后端应用和云计算基础应用。StaCkOS结合全球最新虚拟化云计算技术DoCker,为企业研发、运维及新
6、业务上线部署提供了一整套解决方案和管理平台。不仅帮助企业大幅削减成本和提升效率，更能帮助传统企业加速所需业务互联网化进程，也帮助互联网企业加快产品迭代，提高产品市场占有率，高效适应当今IT大环境，接轨互联网+时代。我们能根据客户需求提供混合云管理、容器化云服务、私有容器云全套解决方案、微服务和DeVoPS支撑平台、咨询和培训等前瞻性产品及服务。无论金融、制造业、教育、军工、移动互联网、电子商务行业，针对不同行业的特性，提供丰富而专业的行业解决方案。产品可在金融、互联网、电信、大型制造业、IDC等行业领域进行推广实施。二、研发内容和目标1 .项目主要内容、目标及关键技术；1.1 项目主要内容及目
7、标xxxx从xxx6年开始便提出了基于DoCker容器技术的智慧企业云平台概念，于XXX年正式开始研发，到目前为止，公司已自主研发了XXX容器调度编排引擎，应用于企业及对安全保密有特殊要求的单位，同时于XXX年中再次发布了基于GoogleKubernetes的容器云计算平台，为更多的企业和单位提供了先进的云计算产品。2 .2关键技术1）平台支持DoCker公司的原生KUberneteS调度引擎，对外使用标准DoCkerAPI,降低学习和开发成本，通过该调度引擎，能够提供资源调度、服务发现、运行监控、扩容缩容、负载均衡、灰度升级、失败冗余、容灾恢复、DevOps等，可实现大规模、分布式、高可用的
8、Docker集群。2）通过云平台可以实现大数据平台的快速部署，用户只需要根据生产环境的实际业务需求，选择用户需要使用的大数据组件，即可轻松、快速地完成大数据平台的部署与使用。用户可以根据自己的需要自定义相关组件，并保存为镜像文件，以后每次使用时，用户可使用自定义的大数据功能组件进行部署。3）云平台内部集成持续集成流水线，通过可视化、拖拽的形式，将不同的微服务组件，根据不同项目情况建设不同的流水线，将开发、测试、部署活动全部自动化，极大的节约开发成本，提高软件交付速度。支持基于DoCker的持续集成流程，方便微服务的改造，可以直接将代码和分支关联起来，用户可根据需求自动或者手动分布式构建微服务项
9、目。同时支持多微服务的流水线作业。4）支持平滑的软件升级，通过灰度发布的方式，对不同应用的不同功能组件进行升级。如果一个服务的由多个容器组成，灰度升级会一个容器一个容器的进行,类似于ROuingUPgrade的方式。如果在升级的过程发现了问题，可以及时地对服务进行回滚。这样可以保证整体系统的稳定，而且不会在升级过程中中断服务。升级完成后，用户可以根据新版本的使用感受，来决定是否进行灰度降级回滚。5）够针对物流业务系统，特别是涉及到高性能计算或图标识别的业务系统，用户能够通过平台的PaSSThrOUgh直接能力，直接打通硬件与容器的通道，为需要高性能的容器系统提供性能保证。3 .技术创新之处；拥
10、有对整个云计算发展有非常清晰的判断和认识,超强自主研发实力，一流的研发技术背景，国内唯一自主研发容器调度引擎（兼容主流技术框架），容器化SDN,容器存储及仓库的团队，能为大规模运用及后续爆发性增长奠定扎实的技术基础。因为具有丰富的分布式和云存储研发经验，我们可以提供国内最高速和最稳定的DOCker公共和私有仓库，这是其他平台无法比拟的核心技术优势。公司同时是国内目前唯一一家自主研发的PaaS/CaaS平台，没有使用任何第三方框架，对平台的把控能力很强。4 .主要技术指标或经济指标。长期以来，云计算因为其技术限制主要是集中在物理硬件和应用软件上进行发展，但由于软硬件本身的差异性，导致云计算技术在
11、部署的时候要么投资巨大、要么耗费很长时间；整个市场上缺乏“快、准、狠”的拳头方案。本次项目旨在研发一种为各个行业提供安全、高效、灵活、快捷的综合云计算平台。通过充分的硬件级API抽象，消除底层硬件差异性；并通过代码的持续优化等手段，提升硬件利用效率，降低客户成本与投资；通过公用功能抽象与剥离后形成的PaaS软件层，为业务应用减负，降低客户新产品开发难度与时间开销，提升其竞争力。同时，项目以云计算平台为“云原生”设计的运行载体，帮助企业开展微服务设计与拆分、DeVOPS改革等内部能力提升与变革，最后实现提升企业整体能力的目的。整个项目内容由StackOS云计算平台+StackOS大数据平台组成，
12、前者提供云平台托管业务，运行园区企业的上云系统，包括企业的CRM.OA.代码托管、版本控制、PM应用、IOT服务器、BI等应用系统；后者提供对企业使用情况的统计、以及对其应用系统数据的分析。该平台具有以下特点：自研PaaS/CaaS平台架构，可灵活应对企业需求自主研发的PaaSZCaaS平台架构，没有使用任何第三方架构，因此对平台的把控能力是最强的，同时提供多种中间件服务，可灵活满足不同企业的产品需求。 自主研发的容器管理和服务编排功能项目自主研发的容器管理和服务编排功能，在网络、应用迁移、应用快照、模板、负载均衡、弹性伸缩、高可用、CI/CD集成、灰度发布和回滚、镜像集成、日志监控等方面对比
13、开源技术都有着非常大的优势。 率先实现双容器调度引擎模式，完美集成KUberneteS项目平台除内置自研容器调度框架外，还完美集成了目前市面上最主流的开源调度引擎框架KUberrIetes。也是率先在企业级平台上实现多调度引擎模式的公司，可满足绝大多数企业的产品和业务需求。 创新性的企业咨询服务体系容器技术作为开源软件，在企业使用过程中会碰到各种问题，如安装速度缓慢失败、编译困难、云端部署问题，容器和主机的而管理，容器性能、网络问题、容器型运维人员短缺。此项目根据国内企业的需求以及国内容器技术的发展现状，为企业提供了定制化的技术咨询服务体系。经济效益分析：由于该项目在推广初期是与高新区软件园进
14、行项目试点合作，搭建创业园区容器云计算平台，通过政府合作的方式将云计算免费提供给各大创业公司及孵化园使用，故项目刚进入市场时不对公司产生实际的经济效益。未来，项目在高新区软件园取得试点效果后，公司将以高新区软件园的模式为蓝本,在全国范围内进行推广，通过向行业客户提供安装、部署、运营、咨询等服务，来收取费用，从而为公司带来具体的经济效益。项目预计从2020年后开始产生经济效益，可为公司每年带来2000万元的销售收入，实现税收收入288万元，实现利润410万元。三、研发试验方法及技术路线本项目的核心技术分别为Docker、KubernetesSpark与MySQLClusterRedis、Msg等
15、组件的研发与更新。Docker简单得来说，Docker是一个由GO语言写的程序运行的“容器”（LinUXcontainers,LXCs）;目前云服务的基石是操作系统级别的隔离，在同一台物理服务器上虚拟出多个主机。D。Cker则实现了一种应用程序级别的隔离；它改变我们基本的开发、操作单元，由直接操作虚拟主机（VM）,转换到操作程序运行的“容器”上来。DoCker相对于VM虚拟机的优势十分明显，那就是轻量和高性能和便捷性，具体体现在： 运行时的性能可以获取极大提升（经典的案例是提升97%）； 管理操作（启动，停止，开；始，重启等等）都是以秒或毫秒为单位的 像虚拟机一样敏捷，而且会更便宜，在bare
16、metal（裸机）上布署像点个按钮一样简单； 将应用和系统“容器化”，不添加额外的操作系统； 你会拥有足够的“操作系统”，仅需添加或减小镜像即可。在一台服务器上可以布署1001000个Containers容器； 开源的，免费的，低成本的，由现代LinUX内核支持并驱动； 正在越来越受欢迎，只需要看一看Google的趋势就知道了，DockerorLXC;还有不计其数的社区和第三方应用； 不计其数的云服务提供创建和管理LinUX容器框架。KubernetesKUberneteS作为Docker生态圈中重要一员，是GoOgIe多年大规模容器管理技术的开源版本，是产线实践经验的最佳表现。无论是公有云还
17、是私有云甚至混合云，Kubernetes将作为一个为任何应用，任何环境的容器管理框架无处不在。正因为如此，目前受到各大巨头及初创公司的青睐，如MiCrOSOft、VMWare、RedHatCoreOSxMesos等，纷纷加入给Kubernetes贡献代码。随着Kubernetes社区及各大厂商的不断改进、发展，KUberneteS将成为容器管理领域的领导者。KUberneteS是GOOgle开源的容器集群管理系统，其提供应用部署、维护、扩展机制等功能，利用KUberneteS能方便地管理跨机器运行容器化的应用，其主要功能如下： 使用Docker对应用程序包装(PaCkage)、实例化(inst
18、antiate)、运行(run)；以集群的方式运行、管理跨机器的容器； 解决DOCker跨机器容器之间的通讯问题；KUberneteS的自我修复机制使得容器集群总是运行在用户期望的状态。当前KUberneteS支持GCE、VShPere、CoreOSOpenShiftAZUre等平台,除此之外，也可以直接运行在物理机上。SparkApacheSpark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UCBerkeleyAMPIab(加州大学伯克利分校的AMP实验室)所开源的类HadOOPMapReduce的通用并行框架，Spark拥有HadoopMapReduce所具有的优点；但不
19、同MaPRedUCe的是JOb中间输出结果可以保存在内存中，从而不再需要读写HDFS,因此SPark能更好适用于数据挖掘与机器学习等需要迭代的MaPRedUCe的算法。SPark提供了一个更快、更通用的数据处理平台。和HadOOP相比，SPark可以让你的程序在内存中运行时速度提升100倍,或者在磁盘上运行时速度提升10倍。去年，在100TBDaytonaGraySort比赛中，Spark战胜了Hadoop,它只使用了十分之一的机器，但运行速度提升了3倍。SPark也已经成为针对PB级别数据排序的最快的开源引擎。SPark支持SCala、JavaxPython、R等接口，对应用支撑非常广泛。M
20、ySQLClusterMySQLCluster是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的Clustero通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。MySQLCluster由一组计算机构成，每台计算机上均运行着多种进程，包括MySQL服务器，NDBCluster的数据节点，管理服务器，以及（可能）专门的数据访问程序。关于Cluster中这些组件的关系。“NDB”是一种“内存中”的存储引擎，它具有可用性高和数据一致性好的特点。MySQLCluster能够使用多种故障切换和负载平衡选项配置NDB存储引擎
21、，但在Cluster级别上的存储引擎上做这个最简单。MySQLCluster的NDB存储引擎包含完整的数据集，仅取决于CIUSter本身内的其他数据。目前，MySQLCluster的Cluster部分可独立于MySQL服务器进行配置。在MySQLCluster中,Cluster的每个部分被视为1个节点。管理（MGM）节点:这类节点的作用是管理MySQLCIUSter内的其他节点，如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置，应在启动其他节点之前首先启动这类节点。数据节点：这类节点用于保存Cluster的数据。数据节点的数目与副本的数目相关，是片段的倍数。例如，
22、对于两个副本，每个副本有两个片段，那么就有4个数据节点。不过没有必要设置多个副本。SQL节点：这是用来访问CIUSter数据的节点。对于MySQLCIUSter,客户端节点是使用NDBClUSteJr存储引擎的传统MySQL服务器。RedisRedis是一款开源的，基于BSD许可的，高级键值（key-value）缓存（CaChe）和存储（Store）系统。由于Redis的键包括string,hash,list,set,sortedset,bitmap和hyperlog,所以常常被称为数据结构服务器。你可以在这些类型上面运行原子操作，例如，追加字符串，增加哈希中的值，加入一个元素到列表,计算集合
23、的交集、并集和差集，或者是从有序集合中获取最高排名的元素。为了满足高性能，Redis采用内存(in-memory)数据集(dataset)o根据你的使用场景，你可以通过每隔一段时间转储数据集到磁盘，或者追加每条命令到日志来持久化。持久化也可以被禁用，如果你只是需要一个功能丰富，网络化的内存缓存。Redis还支持主从异步复制，非常快的非阻塞初次同步、网络断开时自动重连局部重同步。其他特性包括： 事务； 订阅/发布； 1.ua脚本； 带TTL的键； 1.RU回收健； 自动故障转移(failover)； 你可以通过多种语言来使用RedisoRedis是由ANSIC语言编写的，在无需额外依赖下，运行于
24、大多数POSIX系统,如Linux、*BSD、OSXoMsgMSg泛指实现AMQP(高级消息队列协议)的消息中间件的组件，最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。采用适当的MSg组件主要是为了实现系统之间的双向解耦而实现的。当生产者大量产生数据时，消费者无法快速消费，那么需要一个中间层保存这个数据。四、现有研发条件和工作基础1 .承担单位开展本项目的优势公司拥有一支年轻化、知识化、专业化、经验丰富、勇于创新的研发队伍，具有专业人才优势。根据项目开发内容和难度进行人员安排，并根据计划有序地进行。公司利用技术研发中心的技术平台，成立项目研发小组
25、，实行项目负责人负责制，由项目研发小组提出项目试制的技术工艺和立项报告，外聘专家做技术指导，财务部安排科研经费，领导部门审批。整个组织实施过程做到定期检查、定期汇报，以确保项目的顺利进行。2 .已有的工作基础已拥有十余项软件著作权，申请发明专利1项，具备核心自主知识产权，在试点园区积累了数据与经验。五、计划进度（包括总的研发期限、年度计划进度）目前项目已经完成部分功能，具体如下:序号功能模块完成备注平台自动部署60%主机管理90%存储管理80%网络管理90%用户管理30%容器全生命周期管理40%灰度升级30%GPU/FPGA15%大数据20%DeVOPs/微服务50%日志管理80%本年度建设内
26、容:序号功能模块预计完成备注平台自动部署100%平台能在30分钟内，完成平台部署主机管理100%存储管理95%网络管理95%用户管理100%容器全生命周期管理100%灰度升级90%包括历史版本回滚GPU/FPGA65%为容器应用提供更高性能的计算能力大数据70%提供大数据采集、分析能力DeVoPs/微服务70%CI/CD能力日志管理90%六、研究开发费预算报告项目研发预计总经费元。研究开发费预算表单位：元（己计入无形资产成本的费用除外）所属年度：序号研发费用项目预算额1一、直接从事研发活动的本企业在职人员人工费用21、工资、薪金32、津贴、补贴43、加班工资、奖金、年终加薪56二、研发活动直接
27、投入的费用71、直接消耗的原材料、半成品、燃料和动力费用82、达不到固定资产标准的模具、样品、样机及一般测试手段购置费93、工艺装备开发制造费，设备调整检验费，试制产品检验费104、用于研发活动的仪器设备简单维护费1112三、折旧费用与长期待摊费用131、专门用于研发活动的仪器、设备的折旧费或租赁费142、研发仪器设备改装、修理过程中发生的长期待摊费用1516四、设计费用171、新产品设计费、新工艺规程制定费182、进行工序、技术规范、操作特性方面的设计等发生的其它费用1920五、装备调试费211、工装准备过程中研发活动发生的费用2223六、专门用于研发活动的无形资产摊销费241、研发软件25
28、2、专利权263、非专利发明（技术）274、许可证、专有技术、设计和计算方法等专有技术发生的摊销费2829七、勘探、开发技术的现场试验费3031八、研发成果的论证、鉴定、评审、验收费32九、与研发活动直接相关的其他费用331、技术图书资料费、资料翻译费34七、主要（大中型）仪器设备清单序号项目规格数量备注1服务器1PowerEdgeR7201台用于平台开发、测试及业务测试、运行2服务器2PowerEdgeR71010台3PC电脑Lenovoideapad110-15IKBIntelcorei5_7200UCPU2.50GHz2.70GHz内存8G20台用于开发编码，及日常办公4苹果电脑MacB
29、ookproIntelcorei5内存8G+256G闪存5台八、自主研究开发专门机构，名称及运作情况XXXX成立专门的项目小组，该项目小组是由我公司核心研发人员组成，是高素质、高技术、高水平人才。该项目小组专项负责高新技术容器云平台、大数据平台的研发测试，业务活动按国家和地方有关条例进行，正是这支务实高效、勇于创新的科研队伍，为公司的技术创新和各项研发活动奠定了坚实的基础。九、主要研发人员情况序号姓名学历职务备注1大专技术总监2硕士系统架构师3本科系统架构师4大专5大专6本科7本科8本科9本科10本科高级软件开发工程师11本科高级软件开发工程师12大专高级软件开发工程师13本科高级前端开发工程师14本科高级前端开发工程师15本科高级前端开发工程师16本科高级前端开发工程师17本科高级前端开发工程师企业盖章
