当前位置: 首页 > >

大数据的基础知识

发布时间:

1、大数据的基础知识

大数据的概念


大数据(big data),IT行业术语,是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
在维克托?迈尔-舍恩伯格及肯尼斯?库克耶编写的《大数据时代》中大数据指不用随机分析法(抽样调查)这样捷径,而采用所有数据进行分析处理。大数据的5V特点(IBM提出):Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。
百度百科:大数据


大数据主要解决了什么问题?


序号解决的问题产生的产品
1海量数据的存储HDFS (Hadoop Distributed System hadoop分布式文件系统)
2海量数据的分析计算MapReduce
3统一资源管理调度YARN

大数据的特点


序号特点描述
1Volume(大量)数据量越来越大
2Velocity(高速)数据量增长越来越快
3Variety(多样)数据的结构多种多样
4Value(多样)价值密度的高低与数据总量大小成反比

大数据应用场景
1、物流仓储 2、零售 3、旅游 4、推荐 5、保险 6、金融 7、房地产 8、人工智能


大数据部门组织结构


2、hadoop

hadoop是什么?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。
百度百科:hadoop


hadoop组成

hadoop1.x和2.x的区别


HDFS


YARN


MapReduce


Map阶段并行处理数据
Reduce阶段对Map处理数据的结构进行汇总


大数据体系


名词解释


序号名称描述
1SqoopSqoop是一款开源的工具,主要用于在Hadoop、Hive与传统的数据库(MySql)间进行数据的传递,可以将一个关系型数据库(例如 :MySQL,Oracle 等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
2FlumeFlume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
3KafkaKafka是一种高吞吐量的分布式发布订阅消息系统,有如下特性:1.通过磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。2.高吞吐量:即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。3.支持通过Kafka服务器和消费机集群来分区消息。4.支持Hadoop并行数据加载。
4StormStorm用于“连续计算”,对数据流做连续查询,在计算时就将结果以流的形式输出给用户。
5SparkSpark是当前最流行的开源大数据内存计算框架。可以基于Hadoop上存储的大数据进行计算。
6OozieOozie是一个管理Hadoop作业(job)的工作流程调度管理系统。
7HbaseHBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
8HiveHive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 其优点是学*成本低,可以通过类SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析。
9R语言R是用于统计分析、绘图的语言和操作环境。R是属于GNU系统的一个自由、免费、源代码开放的软件,它是一个用于统计计算和统计制图的优秀工具。
10MahoutApache Mahout是个可扩展的机器学*和数据挖掘库。
11ZooKeeperZookeeper是Google的Chubby一个开源的实现。它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、名字服务、 分布式同步、组服务等。ZooKeeper的目标就是封装好复杂易出错的关键服务,将简单易用的接口和性能高效、功能稳定的系统提供给用户。

推荐系统框架


Hadoop运行环境搭建

搭建的步骤(虚拟机)


序号描述
1新建虚拟机
2安装Linux系统
3配置IP地址
4修改hostname
5关闭防火墙
6创建普通用户
7修改普通用户的权限
8创建常用软件存放的目录
9安装jdk
10安装Hadoop
11检验是否安装成功

安装成功后的状态


Hadoop目录结构


名称描述
bin存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本
etcHadoop的配置文件目录,存放Hadoop的配置文件
lib存放Hadoop的本地库(对数据进行压缩解压缩功能)
sbin存放启动或停止Hadoop相关服务的脚本
share存放Hadoop的依赖jar包、文档、和官方案例



友情链接: