《备份系统运行数据收集及分析的设计.docx》由会员分享，可在线阅读，更多相关《备份系统运行数据收集及分析的设计.docx（16页珍藏版）》请在课桌文档上搜索。
1、前言信息系统的运行虽然遵循一定的运行规律，但也呈现出动态的、易干扰、难以预测的特征。对于IT系统运维人员来说，我们展关注的是系统的稳定运行，有时会过于担忧系统的运行风险，有时也对某些运行中的风险麻痹大意，甚至在面对潜在的、未知的故障时，还会十分恐慌.恐惧源于未知，IT运维人员需要克服这种恐惧，让运维从容不迫.本文将从个人运维实践经验出发，研究设计备份系统运行数据采集及分析方法，从而能更加洞察系统的运行规律，希里对同行有一定的借鉴和参考价值.1 .需求数据备份是为应对潜在的数据丢失风睑，而将业务系统中的数据加以豆制并转储到备份存储的工作.为统一调度不同的数据备份作业，集成管理数据备份服务器以及不
2、同类型的备份存储介质，企业需要规划建设与业务系统架构相适应的数据备份系统.作为数据安全的一道重要防线，稳定运行的数据备份系统是至关重要的.备份系统运维侧重于关注备份作业是否出现报错，备份存慵是否存在异常,出现异常或故障时如何去排直、分析、干预等方面,基于备份系统运行数据的收集及分析，来构建备份系统较全面的数字模型，主要用于解决以下三个痛点：缺乏有效的故障预警：粗粒度、滞后性的运维方式增加了备份系统的故障率，S而影响了备份作业的成功率.故障溯源困难:故障会导致运行错误，故障分析定位的过程则是从运行错误回溯到故障，找出错误源头,这也是传统运维方式的痛点之一.系统管控能力不足：备份系统不同于一般的业
3、务系统，往往会忽略了运维的过程管理，包括配置管理、变更管理、容量管理等.如果系统管控能力不足，会大大增加运维风险，严再影响系统的稳定运行.2 .设计策略部分大数据、智能化运维项目更注重于形，即先搭平台，数据收集起来，再慢慢若能做什么样的数据分析和应用.这样的设计策略没有认识到数据质量的里要性.也轻视了系疣运行规律和运维经验的指导作用，系统的有效性大大降低.如果数据质量不高或缺失了某些关燧指标数据，数据分析的结果必然会有偏差.因此，总体设计策略应先关注领域分析，即有必要深入分析备份系统的整体架构，了解系统各组件之间的关系、数据流路径；然后是数据的场景化设计，针对具体的运维场空确定数据分析及应用场
4、景,再追溯确认需要采集的指标数据;最后详细设计数据收集和数据分析方法.整体设计流程如图1所示：图1.设计策略流程图整体架构定标据谕指et维景计运场设析据般分数场抠析计数分设集计数收设3 .领域分析3.1 备份系统整体架构备份系统主要包括备份管理系统、备份客户端、备份网络以及备份存储介质这几种组件，如图2所示：图2,备份系疣整体架构图备份管理系统包括备份管理软件和备份管理服务器，承担备份作业调度管理、备份存储介质管理等责任，是典型的C/S架构，读取备份客户端数据，并将数据写入备份介质中.备份客户端执行备份任务的业务主机，是用户感知屋，一股需安装备份软件客户端代理程序，并与备份服务端通信。备份网络
5、承担备份数据流的传输任务，一般分为基于TCP/IP的备份1.AN和基于FC的备份SAN.备份存储介质承担备份数据存储的备份设备或介质，常见的包括磁带库，虚拟带库，NAS存储等。3.2 备份数据流符份系统的数据流主要包括备份作业数据流和数据恢我数据流，如图3和图4所示。需要强调的是.数据流传输并不是一个直接调用返回的动作,而是一个持续的数据传输过程，在:数据流传路径的任意一个环节出现堵塞或者故障,备份或恢亚作业即会受到影响：另外，由于源端或目的端Ifi复删除技术的应用，备份与恢宏的数据流并不对称，常要分别分析.2.调度加1枚篇份存储第份服为龈4.数据写入招份存储I三控服务需5V据得份Cfl.l,
6、!.TJr1.J份作业发起3.数据发送到招份服务器g篇份客户端图3.备份作业数据流图主控服务器图4.恢豆作业数据流图恢亚客户端4 .场景设计4.1 故障跄理场景故障管理是运维场景中最重要的一环，一般可分为事前、事中、事后三个阶段.事前阶段的重点是评估分析，做好故障预防；事中阶段则包括故障告警、故障处理和恢复；事后阶段需要做好分析改进.下文将对备份系统常见的故障场景做具体分析.4.1.1 作业时长增加数据备份和恢豆作业的时长增加是一种隐性故障,一般影响较小.但对于关键业务系疣来说，超出备份时间窗口，带来的影响有时也是无法容忍的；而数据恢系作业时长有时也决定了故障恢豆时间长短.数据备份恢复时长一般
7、随数据0的增长而缓慢增长，但异常情况下，备份恢复速度也会降低。在事前阶段，我们可以判断数据量是否有突增,可以提前调整备份时间；事中阶段可关注数据吞吐量，如达不到速度预期，甚至严正超出备份时间窗口，可能需要及时中止备份恢豆作业；事后阶段主要是排查定位速度下降的原因，主要排直方向是备份网络带宽被占用、读取数据源的速度下降以及写入备份存储的速度下降这三类.4.1.2 硬件故障硬件故障的影响依赖于硬件冗余情况，备份服务器、备份网络、磁带机、磁带等等硬件都翕要有冗余，这种问题对备份系统的影响一般是一次性的.除了硬件设备自身故障以外，还可能存在兼容性问题导致的硬件故障问题，这类问题可能会间歇性的影响到备份
8、作业的成功率，定位难度也比较高.在事前阶段，我们需要关注硬件自身的状态，可提前预防硬件故障带来的影响；事中阶段，一般来说硬件故障会导致作业报错，即使硬件自身状态正常，但通过运行日志能判断到硬件故障的可能性较大，需要及时将故障硬件徘除出去，先保障备份作业的成功率；事后阶段，综合运行日志情况和故障处理情况，可进一步去定位是硬件自身故障还是兼容性问题，为故障屐终处理提供依据.4.1.3 软件异常一般软件异常指的是软件提供的服务不达预期，可能是代码缺陷或服务异常终止.可以分为前端和后端异常，前端异常会导致备份恢复作业报错,后端异常主要是影响server后端作业.前端异常涉及到备份软件server和cl
9、ient,client影响的是使用该代理的备份作业，server端的影响较大.在事前阶段，我们需要确认省份软件进程和服务端口是否正常，防患于未然；在事中阶段应根据作业报错或受影响情况,结合运行日志去判断异常的软件组件，从而权衡需要如何去干预软件运行中异常；事后阶段则需要复盘运行状态和运行日志，为后续类似的软件异常能预防和定位，提供更多数据依据.4.1.4 资源争用备份系统是一种C/S架构系统，会共享备份服务器和备份存储资源,资源共享会带来资源争用，也是资源容量不足引起的.典型的资源争用引起的故障场景主要有磁带机可用数量不足、密份服务器计箕资源或网络资源占满、备份存储容量不足或服务能力不足，会带
10、来备份作业报错或性能下降导致的作业超出时间窗口等不利影响.在事前阶段，我们需要做好资源调度规划，合理配置不同时间段的备份任务；在事中阶段，可以通过监视资源调度情况和运行日志中的资源等待情况，及时判断出是否发生了资源争用，可及时中止以确保优先级更高的作业任务的完成；事后阶段则是根据运行中出现的资源争用情况来修改资源调度规划，必要时也可以申请更多的备份资源.4.2 运维管理场景运维管理是通过制度化、流程化、标准化的运维手段来指导IT系统的运维，是一套持续改进的机制.相比故障管理场景，运维首理场里更关注的是在平时运维工作中如何去应用备份系统运行数据，以达到持续改进优化的目的.通过数据收集及数据分析，
11、可以更好地实现对备份系统管控，主要集中在下面几个场景.4.2.1 数据管理数据管理的目标是保障数据安全可齐，对备份系统来说，个人认为主要是三点内容需要关注：一是定时备份作业是否成功，可通过收集备份作业结果来确认；二是里要的备份数据通常还会做数据豆制，保持主备站点两到三份相同的数据备份.需要定期确认数据是否成功同步；三是备份的数据需要有数据恢复验证机制，可定期确认备份介质中数据的完整性，并针对不同数据类型的备份做数据恢且，以验证数据正确性.4.2.2 容量管理备份系统容量菅理工作中主要关注的是数据存储和性能两方面的容量场景.数据存储容量场景关注多的是备份数据源的容量增长趋势、备份存储介质可用容量
12、等,及时做好容量预估，容员估或过程中还需要考虑到重且数据删除和数据压缩技术的应用；性能容最场景是对备份系统整体的服务能力做评估，评估备份作业并发的能力、数据传输的吞吐、备份客户端和服务端的计算资源消耗情况等等.4.2.3 配置管理配置管理场景可以关注新增或优化的备份策略信息以及备份介质中存储的备份数据信息.备份策略信息包括主控服务器、备份服务器、备份客户端、备份策略集、存储策略、定时策略以及存储库等的详细配置信息，是备份管理软件的核心逻辑信息，需要妥善保存；密份介质主要包括在线介质和图线介质，备份介质渤线保存后，更需要关注备份介质中存储的备份数据信息，以便即使调取访问，该配置信息变化频率较快，
13、需要保持最新版本的配舌信息.4.2.4 监控优化监控优化场景主要关注三个方向：一是丰冷监控指标，二是监控阈值优化,三是告瞥关联。原有的备份系统监控指标主要集中在备份系统软硬件的运行状态、备份作业的成功失败情况，这些监控指标对于潜在故障的覆盖程度不够，系统运行日志中的部分关键字也是监控的重点；监控指标中部分阈值设置时可能采用的是通用经验方式，会出现告警误报的情况，是需要更加系统运行情况来动态调整的；告警关联则更利于故障溯源，利用运维经验、系统规则可将分散的监控告警信息关联起来，便于定位故障.统计报表是运维工作中一项里要工作，可定期回顽系统运行情况.统计报表场景中，可结合运行数据订制每日、每周、每
14、月的运行情况定时报表，包括特定时间段内的不同备份数据对象的备份作业统计信息，包括完成作业数、失败作业数、运行中的作业数、备份存储消耗情况等等.5 .数据收集设计场景设计确定了数据分析的应用场景，也进一步可以确定所需收集的数据.那么数据收集设计的目标是至少涵盖到已设计场景中所需的指标数据，并且这些指标数据可在多种数据源中获得.设计息体目标是数据收集能够兼顾到高效和低开销，同时对IT系统来说是低影响、无风睑的.具体设计方面可按照数据源的不同进行分类，并针对不同数据源设计不同的数据收集方法、数据采集周期以及采集的数据指标信息.5.1 运行日志备份软件的运行日志一般针对记录不同的组件的运行日志及其错误
15、日志，是研究备份系统运行的重要数据源.日志文件有一定的固定格式，每一行日志一般可分为日期、时间、日志级别、详细信息等字段对应于一条记录信息发送到Kafka.并最终存储到E1.K。备份软件是C/S架构，server与client的日志采集方法和周期设置上会做区分.Server端日志数据较多，产生速度快，且不属于一般业务系统,可以在server端服务器上安装1.ogagent（可自己编写日志代理程序，也可使用filebeat等轻景级日志采集工具）去实时采集；client端服务器上一股运行若业务系统，为降低对其他系统的影响，可设百定时任务，每分钟执行脚本将client日志发送到日志服务器上，再有日志
16、代理程序发送数据.日志采集的整体架构设计如图5所示：日志服务器图5.日志采集架构图5.2 硬件设备信息硬件设备主要指的是备份存储、磁带库、虚拟带库、SAN交换机等专有硬件设备，一般可通过SnmP轮询、访问硬件设备API以及CMD命令输出等方法来收集硬件状态信息，适宜于设置定时任务定时采集硬件设备信息.硬件设备上可采集的指标数据包括硬件整体及其各部件状态信息、硬件的逻辑配置拓扑和容量信息、备份存储控制器CPU负载、备份存睹IO带宽和延时、SAN交换机对应端口的吞吐数据、网络端口IO错误计数器信息等。5.3 备份软件接口数据备份软件也会有对应的API接口或CMD接口来获取备份软件的具体信息，可自行
17、编程定期抓取相关数据.备份软件接口数据可分成配置数据和运行数据，其中配货数据的频度较低，可以每天抓取一份信息即可；而运行数据是动态的，变化预率较高，定时抓取频率可设为分钟级.配置数据主要包括主控服务器、备份服务器、备份客户端、备份策略集、存储策略、定时策略以及存储庵等的详细配置信息；运行信息主要包括每日的定时备份作业以及其他后台作业完成信息、备份作业关联的备份介质信息、备份介质中存硫的备份数据信息、软件运行事件及告瞥信息.5.4 其他监控数据源其他监控数据源中需要收集的数据主要是备份客户端和服务端的操作系统性能数据，包括CPU负载、磁盘IO、网卡I。吞吐信息等监控系统中通用的监控数据指标，另外
18、还需要收集备份软件相关的进程和服务端口信息,监控软件一般都留有数据接口，也可以直接访问监控数据库直接获取监控数据，数据的采集周期则依照其他监控数据域的更新频率来设定.6数据分析设计数据分析是处理加工收集到的数据，并对数据加以详细研究和概况总结，提取有用信息并形成结论.抛开一些具体的工具方法，我总结了一下日常运维中通用的数据经验，主要是两点：一是对技术的深入理解，我们会对不同类型的组件做分类，也会找出组件之间的各种关联，这样才能对一些技术更加了解；二是对数据变化的敏感性，比较典型的例子是我们对一个系统每日做巡检，CPU负载可能稳定在某些值附近或者在特定时刻才好发生数值突变，如果某一天CPU负载数
19、据不再遵循这样的波动规律，这种数据的变化就是我们需要捕获并深入关注的.在备份系统的具体数据分析工作中，可以从上文提到的数据场里出发来应用不同的数据分析方法，但我个人觉得也可以以场景为辅助，而从数据类型入手.上文已设计了不同数据源的数据收集方法，个人觉得也可以分为静态配首数据、动态运行数据以及日志数据这三种类型数据,下文将详细介绍这三种类型数据的数据分析方法.6.1 静态配置数据在备份系统的数据分析中，静态超百数据是骨.酹态配首数据的数据分析最适宜采用的方法是详细分类和关联分析，理清配苣不同种类的数据元素以及它们之间关联关系.备份系统的配笈数据主要包括硬件设备及其组件的配m信息、备份软件层的备份
20、策略信息以及网络拓扑信息等。关联可分为简单关联、时序关联、因果关联。优先对配置数据进行分析，可以帮助我们理清备份作业的静态时序信息、备份作业和存储资源的关系、硬件设备间的联系、不同备份客户端的基础信息以及架构拓扑信息等.6.2 动态运行数据在备份系统的数据分析中，动态运行数据则是血肉.在岸态配首数据的分析结果的基础上，动态运行数据可以提供吏加详细的关联关系，不在是元素种类之间的关联，而是具体元素之间的关联；根据时序信息，回溯历史数据可以刻画同一元素的数据趋势图；结合数据详细分类结果，运用数据对比的分析方法，横向比较可以刻画出同类型元素之间的数据趋势对比图，纵向比较可以将现时与历史一段时间内的数
21、据趋势做对比.备份系统的动态运行数据主要包括硬件状态、软件进程运行状态、作业运行信息、网络10信息、备份存储10信息、备份存储使用信息、备份服务器系统资源使用信息、事件及告警等.出了进一步完善分类与关联关系外，备份系统运行数据的做单维度分析可以得到每日作业完成情况图、整体存储使用趋势图、备份网络IO趋势图、单个备份作业存储资源使用趋势图、备份存储IO趋势图等，如图6所示；多维度分析可以得到不同客户端使用的存储资源对比趋势图、不同备份存储使用情况对比图及IO对比图、不同备份作业I。与历史数据对比图等，如图7所示.NJ-Comm01-013001月2月3月4月5月6月7月Month图6单维度分析-
22、存储使用趋势图图7多维度分析-多类型客户端存储使用趋势图6.3 日志数据在备份系统的数据分析中，日志数据可以说是更要宝藏.目前主流的日志分析工具解决了日志存储的方法，但主要是基于Web日志分析，采用关键词搜索、词频统计等方法来做分析。而在备份系统运行的场景中，这方便了日志检索，我们还需要做的是基于日志信息来抽象串联出备份系统运行中一个个子工作流程.睁态与动态数据的数据分析已经相对生动了，但还是缺少很多细节信息我们就以一个备份作业的运行日志为例，来串联出这个例子的工作流程细节，如图8所示：首先定时调度计划被触发，会先检查客户端状态，然后按照定时计划脚本中的配置和备份策略信息开启备份作业会话，每一
23、个备份作业会话会去申请磁带机或其他备份数据存硫路径，这时会话会处于等待状态,直到申请的资源被满足；介质管理组件接到资源申请后，会根据当前的资源使用情况和申请的优先级，分配磁带机及磁带给对应的作业会话；一旦作业会话发现其申请的资源已被分配并被挂载后，这时客户端会读取源数据，并将数据传输到已挂载的备份存储，直到作业会话结束；当所有作业会话都成功完成后，该作业才会返回成功。、与人得】WP4写入售2份务不Z1图8.备份作业工作流程细节整个工作流程中，会以作业ID、作业会话ID、备份设备ID等信息与实际组件相对应，从而能还原出该备份作业的运行情况.如果其中某个子流程出现问期，通过日志分析就能还原该故障过程，迅速定位故障对应的作业ID、会话ID、客户端或备份设备ID等.结语数据收集及分析工作是一项长期性的工作，需要持续改进、不断优化的，这正如IT系统不断演化，也如我们所从事的运维工作一样，需要日积月累，才能日益精进.
