《大数据平台运维方案.docx》由会员分享，可在线阅读，更多相关《大数据平台运维方案.docx（9页珍藏版）》请在课桌文档上搜索。
1、大数据平台运维方案1.引言1.1 概述本文档为大数据平台运维用户的使用手册,主要用于对大数据平台的启动、关闭和检查1.2 环境本大数据平台主要配置如下所示:功主机名IP邰善蛆行HadOoP集群曾建节点(2fe)hadpManagerO117i1620.11HIVE(MYSQL).SQPhadpManagerO2172.1620.12Narw0Q11oop)、Urb4rttvervro4er(hadp)、ResourceManager(hadoop)MYSQLHadoOP集群期B节点(3)hadoop01172.162021JournaINode(hadoop),DataNode(hadp).Q
2、uorumPeerMain(Zkeeper).SPARK(master、WOrker).NodeManager(hadoop)hadoop01172.162022Xoopo2172.162023HbaSej熊楫理万点(2旬hbaseManagerO1172.1620.51NameNode(Kadoop)、DFSZKFkverCotroller(hadoop)、ResourceManager(hadp),Hmaster(hbase)KafkaOffsetMonitorszatbixhbaseManagerO2172.1620.52HbaSe*8微S节点(3台)hbaseO1172.1620.61
3、JournaINode(hadp),DataNode(Hadoop).Zookeeper,HReglonServehive_metastore.log2.1.6 SqoopSqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQLQrade,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。2.1.6.1 SqOOP使用（一级）列出mysql数据库中的所有数据库sqooplist-databases-connectjdbc:mysql:/localhost:3306/-usernamem
4、ysql-password20182.1.7 KAFKAKafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。2.1.7.1 Kafka文件存储目录Kafka日志：homehbaseoptdatakafkakafka-logs2.1.7.2 Kafka的使用（一级）启动kafka：nohuphomehbasekafka-2.12-1.0.1binkafka-server-start.sh/home/hbase/kafka_2.12-1.0.1/config/server.properties&备注：如果不用后台执行，就会滚动打印日志关闭kafka：ho
5、mehbasekafka-2.12-1.0.1binkafka-server-stop.sh2.1.7.3 Kafka的使用（二级）1）、创建topic：bin/kafka-topics.shcreatezookeeperhbaseOL2181-replication-factor1partitions1-topictest2）、查看topic：bin/kafka-topics.sh-list-zookeeperhbaseOL21813）、生产者bin/kafka-console-producer.sh-broker-listhbase01:9092topictest4）、消费者bin/kaf
6、ka-console-consumer.shzookeeperhbaseOL2181topictestfrom-beginning2.1.8 KAFKA-MONITORKafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面，这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,你可以通过浏览当前的消费者组，并且每个TOPiC的所有Partition的消践情况都可以观看的一清二楚。它让我们很直观的知道，每个Partition的Message是否消费掉，有木有阻塞等等。这个Web管理平台保留的Partition.Of
7、fset和它的Consumer的相关历史数据，我们可以通过浏览Web管理的相关模块，清楚的知道最近一段时间的消费情况。2.1.8.1 KafkaoffSetMOnitOr使用端口180882.1.8.2 KafkaOffsetMonitor启动命令(一级)启动命令：java-cpKafkaOffsetMonitor-assembly-0.2.0.jarcom.quantifind.kafka.offsetapp.OffsetGetterWebzkhbase01:2181,hbase02:2181,hbase03:2181port18088refresh10.secondsretain2.day
8、s参数含义offsetstoragevalidoptionsarezookeeper,“kafka,rorstorm.Anythingelsefallsbackto“zookeeper,*zktheZooKeeperhostsportonwhatportwilltheappbeavailablerefreshhowoftenshouldtheapprefreshandstoreapointintheDBretainhowlongshouldpointsbekeptintheDBdbNamewheretostorethehistory(default,offsetapp,)kafkaOffset
9、ForceFromStartonly叩PlieStokafkawformat.ForceKafkaOffsetMonitortoscanthecommitmessagesfromstart(seenotesbelow)StormZKOffsetBaseonlyappliesto“stormformat.Changetheoffsetstoragebaseinzookeeper,defaulttostormconsumersz,(seenotesbelow)pluginsArgsadditionalargumentsusedbyextensions(seebelow)备注：可以将命令写入脚本中.
10、chmod+kafka-monitor-start.shnohuphomehbaseKafkaMonitorkafka-monitor-start.sh&2.1.9 zabbizabbi是一个基于WEB界面的提供分布式系统监视以及网络监视功能的企业级的开源解决方案。2.1.9.1 zabbix的数据库数据库为默认的mariadb数据库用户名：zabbix数据库密码：123456数据库库名：zabbix21.92zabbix的启动(一级)SerVer节点：172.16.20.51Systemctlstartzabbix-serverSystemctlstartzabbi-agentSystemc
11、tlstarthttpdagent节点：172.16.20.11,12,21,22,23,51,52,53Systemctlstartzabbix-agentUser：AdminPassword：zabbix2.2 启动顺序2.2.1 hadoop集群组件启动循序：Zookeeper-Hadoop-SparkHiVe和Sqoop关闭循序：SparksHiVe和Sqoop-Hadoop-Zookeeper2.2.2 Hbase集群组件启动循序：Zookeeper-Hadoop-Hbase-Kafka-KAFKA-MONITOR-zabbix关闭循序：KAFKA-MONTOR-Kafka-Hbase-Hadoop-Zookeeper-zabbix
