头歌实践教学平台：数据科学与大数据技术导论（七下）

七、大数据第2关大数据概念任务描述本关任务根据相关知识内容完成右边选择题。相关知识为了完成本关任务你需要掌握1.大数据的特征2.大数据的影响3.大数据的应用4.大数据产业5.高校大数据专业。大数据的特征大数据(bigdata)或称巨量资料指的是所涉及的资料量规模巨大到无法透过主流软件工具在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据的 4V 特点Volume大量、Variety多样、Velocity高速、Value价值。“大数据”现如今已成为互联网和信息技术中的流行词其指的是具有 1TB 以上增长率高、类型多样且不能被传统软件工具所挖掘、处理的数据。大数据的潜在价值十分巨大甚至被定义为“未来的新石油”。Volume大量大数据的显而易见的特征就是其庞大的数据规模。随着信息技术的发展互联网规模的不断扩大每个人的生活都被记录在了大数据之中由此数据本身也呈爆发性增长。其中大数据的计量单位也逐渐发展现如今对大数据的计量已达到 EB 了。相关计量单位的换算关系:单位 换算格式Byte字节 1 Byte1024 bitKBKilobyte千字节 1 KB 1024 ByteMBMegabyte兆字节 1 MB 1024 KBGBGigabyte吉字节 1 GB 1024 MBTBTerabyte太字节 1 TB 1024 GBPBPetabyte拍字节 1 PB 1024 TBEBExabyte艾字节 1 EB 1024 PBZBZettabyte泽字节 1 ZB 1024 EBVariety多样在数量庞大的互联网用户等因素的影响下大数据的来源十分广泛。。生物大数据、交通大数据、医疗大数据、电信大数据、电力大数据、金融大数据等都呈现出“井喷式”增长所涉及的数据量十分巨大已经从 TB 级别跃升到 PB 级别。各行各业每时每刻都在生成各种不同类型的数据。大数据由因果关系的强弱可以分为三种即结构化数据、非结构化数据、半结构化数据它们统称为大数据。资料表明结构化数据在整个大数据中占比较大高达百分之七十五但能够产生高价值的大数据却是非结构化数据。Velocity高速数据的增长速度和处理速度是大数据高速性的重要体现。在 Web2.0 应用领域在 1min 内新浪可以产生 2 万条微博Twitter 可以产生 10 万条推文Apple 可以产生下载 4.7 万次应用的数据淘宝上可以卖出 6 万件商品百度可以产生 90 万次搜索查询的数据Facebook 可以产生 600 万次浏览量。大名鼎鼎的大型强子对撞机LargeHadronColliderLHC大约每秒产生 6 亿次的碰撞每秒生成约 700MB 的数据同时有成千上万台计算机在分析这些碰撞的数据。Value价值大数据的核心特征是价值其实价值密度的高低和数据总量的大小是成反比的即数据价值密度越高数据总量越小数据价值密度越低数据总量越大。任何有价值的信息的提取依托的就是海量的基础数据。当然目前大数据背景下有个未解决的问题如何通过强大的机器算法更迅速地在海量数据中完成数据的价值提纯。价值密度低商业价值高以视频为例连续不间断监控过程中可能有用的数据仅仅有一两秒但是具有很高的商业价值。大数据的影响1、大数据对科学研究的影响在科学研究方面大数据使得人类科学研究在经历了实验、理论、计算三种范式之后迎来了第四种范式——数据。如下图2、大数据对社会发展的影响大数据将会对社会发展产生深远的影响具体表现在以下几个方面大数据决策成为一种新的决策方式大数据应用促进信息技术和各行业的深度融合大数据开发推动新技术和新应用的不断涌现。3、大数据对就业市场的影响大数据的兴起使得数据科学家成为热门职业。麦肯锡报告到 2018 年在“具有深入分析能力的人才”方面美国面临着 14 万到 19 万的缺口“可以利用大数据分析来做出有效决策的经理和分析师”缺口则会达到 150 万。国内有大数据专家估算过5 年内国内的大数据人才缺口会达到 130 万以大数据应用较多的互联网金融为例这一行业每年增速达到 4 倍届时仅互联网金融需要的大数据人才就是现在需求的 4 倍以上。4、大数据对人才培养的影响大数据的兴起将在很大程度上改变中国高校信息技术相关专业的现有教学和科研体制。一方面数据科学家是一个需要掌握统计、数学、机器学习、可视化、编程等多方面知识的复合型人才在中国高校现有的学科和专业设置中上述专业知识分布在数学、统计和计算机等多个学科中任何一个学科都只能培养某个方向的专业人才无法培养全面掌握数据科学相关知识的复合型人才。另一方面数据科学家需要大数据应用实战环境在真正的大数据环境中不断学习、实践并融会贯通将自身技术背景与所在行业业务需求进行深度融合从数据中发现有价值的信息但是目前大多高校还不具备这种培养环境不仅缺乏大规模基础数据也缺乏对领域业务需求的理解。鉴于上述两个原因目前国内的数据科学家人才并不是由高校培养的而主要是在企业实际应用环境中通过边工作边学习的方式不断成长起来的其中互联网领域集中了大多数的数据科学家人才。大数据的应用大数据无处不在包括金融、汽车、零售、餐饮、电信、能源、政务、医疗、体育、娱乐等在内的社会各行各业都已经融入了大数据的印迹。1、电商领域电商领域是大数据应用的最广泛的领域之一比如精准广告推送个性化推荐大数据杀熟等都是大数据应用的例子其中大数据杀熟已经被明令禁止。2、传媒领域传媒领域得益于大数据的应用可以做到精准营销直达目标客户群体。不仅如此传媒领域在猜你喜欢交互推荐上面也因为大数据的应用而更加准确。3、金融领域金融领域也是大数据应用的重要领域比如信用评估利用的就是客户的行为大数据根据客户的行为大数据综合评估出客户端信用。除此之外金融领域里面的风险管控客户细分精细化营销也都是大数据应用的典型例子。4、交通领域交通领域应用大数据是与我们息息相关的比如道路拥堵预测可以根据司机位置大数据准确判断哪里是拥堵的进而给出优化出行路线。还比如智能红绿灯导航最优规划这些也都是交通领域应用大数据的体现。5、电信领域电信领域也有大数据应用的身影比如电信基站选址优化就是利用了电信用户位置的大数据还比如舆情监控客户用户画像等都是电信领域应用大数据的结果。6、安防领域大数据应用也可以应用到安防领域比如犯罪预防通过大量犯罪细节的数据进行分析、总结从而得出犯罪特征进而犯罪预防还有天网监控等也是大数据应用的具体案例。7、医疗领域医疗领域应用大数据主要体现在智慧医疗比如通过某种典型病例的大数据可以得出该病例的最优疗法等。除此之外医疗领域大数据应用还体现在疾病预防病源追踪等方面。大数据产业大数据产业是指一切与支撑大数据组织管理和价值发现相关的企业经济活动的集合。产业链环节 包含内容IT基础设施层 包括提供硬件、软件、网络等基础设施以及提供咨询、规划和系统集成服务的企业比如提供数据中心解决方案的 IBM、惠普和戴尔等提供存储解决方案的 EMC提供虚拟化管理软件的微软、思杰、SUN、Redhat 等数据源层 大数据生态圈里的数据提供者是生物大数据生物信息学领域的各类研究机构、交通大数据交通主管部门、医疗大数据各大医院、体检机构、政务大数据政府部门、电商大数据淘宝、天猫、苏宁云商、京东等电商、社交网络大数据微博、微信、人人网等、搜索引擎大数据百度、谷歌等等各种数据的来源数据管理层 包括数据抽取、转换、存储和管理等服务的各类企业或产品比如分布式文件系统如 Hadoop 的 HDFS 和谷歌的 GFS、ETL 工具Informatica、Datastage、Kettle 等、数据库和数据仓库Oracle、MySQL、SQL Server、HBase、GreenPlum 等数据分析层 包括提供分布式计算、数据挖掘、统计分析等服务的各类企业或产品比如分布式计算框架 MapReduce、统计分析软件 SPSS 和 SAS、数据挖掘工具 Weka、数据可视化工具 Tableau、BI 工具MicroStrategy、Cognos、BO等等数据平台层 包括提供数据分享平台、数据分析平台、数据租售平台等服务的企业或产品比如阿里巴巴、谷歌、中国电信、百度等数据应用层 提供智能交通、智慧医疗、智能物流、智能电网等行业应用的企业、机构或政府部门比如交通主管部门、各大医疗机构、菜鸟网络、国家电网等高校大数据专业1、大数据专业的人才培养目标大数据专业致力于培养符合国家战略及大数据产业发展需求具备较好的数据素养和数理基础、扎实的编程基础以及大数据基础知识与技能熟练掌握大数据采集、预处理、存储、处理、分析、应用技术能够运用大数据思维、模型和工具解决实际问题的高级复合型人才。大数据专业的毕业生能在互联网企业、金融机构、科研院所、高等院校等从事大数据分析、挖掘、处理、服务、应用和研究工作亦可从事各行业大数据系统的集成、设计、开发、管理、维护等工作也适合在高等院校及科研院所的相关交叉学科继续深造。2、毕业生就业岗位如图所示3、大数据专业知识体系从学科角度而言大数据可以理解为一个跨多学科领域的从数据中获取知识的科学方法、技术和系统的集合。因此大数据专业知识体系涵盖了计算机、数学、统计学等多个学科领域结合了诸多领域中的理论和技术包括应用数学、统计学、模式识别、机器学习、人工智能、深度学习、数据可视化、数据挖掘、数据仓库、分布式计算、云计算、系统架构设计等。从大数据分析角度而言如图所示典型的大数据分析过程包括数据采集与预处理、数据存储与管理、数据处理与分析、数据可视化等。因此大数据专业知识体系涵盖了数据采集与预处理技术、数据存储与管理技术、数据处理与分析技术、数据可视化技术等。同时在分析过程中对商业领域的业务知识也需要一定的理解。4、大数据专业课程体系数据专业课程体系涵盖通识教育课、学科基础课、专业基础课、专业核心课和专业课具体如下1通识教育课思政类课程、军体类课程、外语课、创新创业课等2学科基础课高等数学、线性代数、概率论与数理统计等3专业基础课程序设计、计算机系统基础及组成原理、离散数学、计算机网络、算法与数据结构、数据库系统、操作系统、软件工程等4专业核心课大数据导论、网络爬虫与数据采集、数据清洗、数据库、数据可视化、分布式并行编程、机器学习等5专业课云计算、数据安全、数据仓库、数据挖掘等。5、大数据专业的编程语言1C语言C 语言是一门面向过程的计算机编程语言与 C、Java 等面向对象编程语言有所不同。C 语言的设计目标是提供一种能以简易的方式编译、处理低级存储器、仅产生少量的机器码以及不需要任何运行环境支持便能运行的编程语言。C 语言描述问题比汇编语言迅速、工作量小、可读性好、易于调试、修改和移植而代码质量与汇编语言相当。C 语言一般只比汇编语言代码生成的目标程序效率低 10%20%。因此C 语言可以编写系统软件。C 语言在一些编程语言排行榜中长期排在第一的位置。C 语言具有很多优点主要如下1它具有现代高级程序设计语言的基本语法特征并且是编写操作系统的首选语言与计算机硬件打交道时灵巧且高效目前几乎所有的操作系统如 Windows、Unix 和 Linux 等均是由 C 语言编写的2常用的面向对象程序设计语言例如 C 和 Java其基本语法源于 C 语言。C 语言甚至是其它编程语言的母语言比如 Java 语言就是用 C 语言编写的。3简洁紧凑灵活方便。C 语言一共只有 32 个关键字9 种控制语句程序书写自由主要用小写字母表示它把高级语言的基本结构和语句与低级语言的实用性结合了起来。C 语言一般作为学习计算机程序设计语言的入门语言。2CC 是 C 语言的继承是一门以 C 为基础发展而来的、面向对象的高级程序设计语言它既可以进行 C 语言的过程化程序设计又可以进行以继承和多态为特点的面向对象的程序设计。C 不仅拥有计算机高效运行的实用性特征同时还致力于提高大规模程序的编程质量与程序设计语言的问题描述能力。C 的优点主要包括1实现了面向对象程序设计处理运行速度非常快大部分的游戏软件都是由 C 来编写的。2语言非常灵活功能非常强大。3非常严谨、精确和数理化标准定义很细致。4语言的语法思路层次分明。大数据领域的不少产品都是使用 C 开发的即产品本身是由 C 编写的包括一些 NoSQL 数据库ScyllaDB、MongoDB、Aerospike、Kudu、SequoiaDB、数据仓库 Impala、实时流计算框架 Hurricane 和 Heron、资源调度框架 Mesos 等。但是谈到大数据开发语言C 要明显逊色于 Java很多大数据应用程序比如 Hadoop 程序等都是使用 Java 开发的而不是使用 C。3JavaJava 是目前最热门的编程语言之一在一些编程语言排行榜中长期排在前三名。虽然 Java 没有和 R、Python 一样好的可视化功能也不是统计建模的最佳工具但是如果需要建立一个庞大的应用系统那么 Java 通常会是较为理想的选择。由于 Java 具有简单、面向对象、分布式、鲁棒、安全、体系结构中立、可移植、高性能、多线程以及动态性等诸多优良特性因此被大量应用于企业大型系统开发中企业对于 Java 人才的需求一直比较旺盛。Java 语言与大数据存在较为紧密的联系Java 在大数据领域有着广泛的应用是大数据应用程序开发的常用语言。作为大数据领域热门的大数据处理框架 Hadoop 和 Flink 等其框架本身都是采用 Java 语言开发的编写 Hadoop 应用程序也首选 Java 语言。而目前热门的分布式计算框架 Spark也支持采用 Java 语言编写应用程序。4PythonPython 是目前国内外很多大学里流行的入门语言学习门槛低简单易用开发员可以使用 Python 来构建桌面应用程序和 Web 应用程序此外Python 在学术界备受欢迎常被用于科学计算、数据分析和生物信息学等领域。Python 是最近几年发展最为迅速的编程语言在一些编程语言排行榜当中甚至已经进入了前三名。Python 的主要优点如下1可以使用多种执行方式。可以直接在命令行执行相关命令也可以用函数的方式执行相关命令或者也可以用面向对象的方式执行相关命令。2语法简洁且强制缩格程序具有很好的可读性。3跨平台。支持多种开发平台如 Windows、Linux、Mac OS X、Solaris 等。4面向对象。Python 既支持面向过程又支持面向对象这使得其编程更加灵活。5丰富的第三方库。Python 有丰富且强大的库而且由于 Python 的开源特性第三方库非常多如 Web 开发、爬虫、科学计算等。在数据分析领域Python 是广受欢迎的编程语言网络数据采集比如网络爬虫、数据清洗、数据分析与挖掘、数据可视化等环节通常都使用 Python 语言编写程序。5ScalaScala 是一门类似Java的多范式语言它整合了面向对象编程和函数式编程的最佳特性具有诸多优点主要包括以下几个方面1具备强大的并发性支持函数式编程可以更好地支持分布式系统2Scala 兼容 Java可以与 Java 互操作3Scala 代码简洁优雅4Scala 支持高效的交互式编程5Scala 是 Spark 的开发语言。Spark 是当前热门的大数据处理技术开发 Spark 应用程序时首选编程语言是 Scala因为 Spark 框架自身就是使用 Scala 语言开发的用 Scala 语言编写 Spark 应用程序可以获得最高的性能。Spark 的流行也迅速提升了 Scala 的影响力。流计算框架 Flink 的部分模块也是使用 Scala 语言开发的也可以使用 Scala 语言编写 Flink 应用程序。6R 语言R 是专门为统计和数据分析开发的语言具有数据建模、统计分析和可视化等功能简单易上手。R 语言主要具有如下优点1免费开源。R 的源代码可以自由下载使用也有已编译的可执行文件版本可以下载。2简单易学。虽然 R 与其他程序设计语言相比结构相对松散使用变量前不需要明确定义变量类型等但是仍然保留了程序设计语言的基础逻辑与自然的语言风格。3几乎兼容全部平台。除了支持 OS X、Linux、Windows 之外甚至可以在 iOS 设备上编辑和运行R程序还可以在 iPhone 等移动设备上安装R程序。4多领域的统计资源。学者和数据分析师开发了很多 R 语言包涉及到统计的各个方面资源很丰富。5出色的图形统计功能。除了基本统计直方图、折线图等还可以绘制一些高级的图形而这些是 SPSS 这类软件所不能匹敌的。总体而言R 和 Python 都是比较流行的数据分析语言。相对而言数学和统计领域的工作者更多使用 R 语言而计算机领域的工作者更多使用 Python。大数据处理框架 Spark 也提供了对 R 语言的支持。编程要求根据相关知识完成右侧选择题有任何问题都可以随时关注私信