《大数据总—概述.ppt》由会员分享，可在线阅读，更多相关《大数据总—概述.ppt（26页珍藏版）》请在课桌文档上搜索。
1、1,粤嵌教育嵌入式学院大数据就业班,V 1.0,2,课程目标,大数据概念大数据的特点大数据作用大数据发展前景企业大数据业务流程分析企业数据部的一般组织结构,3,大数据概念,第一节,4,大数据概念,大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决：海量数据的存储和海量数据的分析计算问题。,5,数据存储单位,6,大数据的特点,第二节,7,大数据的4V特性,8,Volume,9,Velocity,10,Variety,11,Value,价值密度的高
2、低与数据问题的大小成反比。如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题,12,总结,13,大数据的作用,第三节,14,大数据能干啥？,15,大数据能干啥？,16,大数据能干啥？,17,大数据能干啥？,商品广告推荐：给用户推荐访问过的商品广告类型,18,大数据能干啥？,19,大数据能干啥？,人工智能,20,大数据发展前景,第四节,21,国家层面,党的十八届五中全会提出“实施国家大数据战略”，国务院印发促进大数据发展行动纲要，大数据技术和应用处于创新突破期，国内市场需求处于爆发期，我国大数据产业面临重要的发展机遇。,22,人才需求,国际数据公司IDC预测，到2020年，企业基于大数
3、据计算分析平台的支出将突破5000亿美元。目前，我国大数据人才只有46万，未来3到5年人才缺口达150万之多。,人才缺口计算150w-40w=110w110W/5年=22w/年22w/12月=1.83w/月,自古不变的真理：先入行者吃肉，后入行者喝汤，最后到的买单！,23,企业数据部的业务流程分析,第五节,24,企业数据部的业务流程分析,产品人员提需求（统计总用户数、日活跃用户数、回流用户数等）,数据部门搭建数据平台、分析数据指标,数据可视化（报表展示、邮件发送、大屏幕展示等）,25,企业数据部的一般组织结构,第六节,26,企业数据部的一般组织结构,数据仓库组,平台组,数据挖掘组,报表开发组,集群平台性能调优,Hadoop、Flume、Kafka、Storm、spark等框架平台搭建,Hive工程师-数据分析、数据仓库建模,ETL工程师-数据清洗,算法工程师,推荐系统工程师,用户画像工程师,集群性能监控,JavaEE工程师,企业数据部的一般组织结构,
