1. mapreduce读取hbase的表
HBase 是 BigTable 的开源 java 版本。是建立在 HDFS 之上，提供高可靠性、高性能、列存储、 可伸缩、实时读写 NoSQL 的数据库系统。
NoSQL = NO SQL
NoSQL = Not Only SQL
把 NoSQL 数据的原生查询语句 封装成 SQL
HBase Phoenix
以下五点是 HBase 这个 NoSQL 数据库的要点：
① 它介于 nosql 和 RDBMS 之间，仅能通过主键(row key)和主键的 range 来检索数据，仅支 持单行事务(可通过 hive 支持来实现多表 join 等复杂操作)。
② Hbase 查询数据功能很简单， 不支持 join 等复杂操作
③ 不支持复杂的事务（行级的事务）
④ Hbase 中支持的数据类型： byte[]
⑤ 主要用来存储结构化和半结构化的松散数据。
结构化:数据结构字段含义确定,清晰,典型的如数据库中的表结构.
半结构化:具有一定结构,但语义不够确定,典型的如 HTML 网页,有些字段是确定的(title), 有些不确定(table)
非结构化:杂乱无章的数据,很难按照一个概念去进行抽取,无规律性
hbase是非关系型数据库，而且它是基于列的而不是基于行的模式。
hbase 全称Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库。
hbase利用hadoop hdfs作为其文件存储系统，利用hadoop。
MapReduce来处理hbase中的海量数据、利用zookeeper作为其分布式协同服务。
2. mapreduce和hbase关系哪项是正确的
共同点： 1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储 区别：
2.Hive是建立在Hadoop之上为了减少MapReduce jobs编写工作的批处理系统，HBase是为了支持弥补Hadoop对实时操作的缺陷的项目 。
3.想象你在操作RMDB数据库，如果是全表扫描，就用Hive+Hadoop,如果是索引访问，就用HBase+Hadoop 。
4.Hive query就是MapReduce jobs可以从5分钟到数小时不止，HBase是非常高效的，肯定比Hive高效的多。
5.Hive本身不存储和计算数据，它完全依赖于HDFS和MapReduce，Hive中的表纯逻辑。
6.hive借用hadoop的MapReduce来完成一些hive中的命令的执行 7.hbase是物理表，不是逻辑表，提供一个超大的内存hash表，搜索引擎通过它来存储索引，方便查询操作。 8.hbase是列存储。 9.hdfs作为底层存储，hdfs是存放文件的系统，而Hbase负责组织文件。 10.hive需要用到hdfs存储文件，需要用到MapReduce计算框架。
3. mapreduce直接访问hbase
他们的关系是：hbase是一个内存数据库，而hdfs是一个存储空间；是物品和房子的关系。 hdfs只是一个存储空间，他的完整名字是分布式文件系统。从名字可知他的作用了。 hbase是一个内存数据库，简单点说hbase把表啊什么的存在hdfs上。 Hbase与HDFS的性质和属性。 1、Hbase是Hadoop database，即Hadoop数据库。它是一个适合于非结构化数据存储的数据库，HBase基于列的而不是基于行的模式。 HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据。
2、HDFS是GFS的一种实现，他的完整名字是分布式文件系统，类似于FAT32，NTFS，是一种文件格式，是底层的。 Hive与Hbase的数据一般都存储在HDFS上。Hadoop HDFS为他们提供了高可靠性的底层存储支持。
4. hadoop的mapreduce详解
1. HDFS(Hadoop 分布式文件系统)
HDFS 是 Hadoop 生态圈中提供分布式存储支持的系统，上层的很多计算框架(Hbase、Spark 等)都依赖于 HDFS 存储。
2. MapReduce(分布式计算模型)离线计算
何为离线计算，其实就是非实时计算。
3. Yarn(分布式资源管理器)
Yarn 的出现主要就是为了解决原始 Hadoop 扩展性较差、不支持多种计算模型的问题。
4. Spark(内存计算)
Spark 提供了内存中的分布式计算能力，相比传统的 MapReduce 大数据分析效率更高、运行速度更快。
5. HBase(分布式列存储数据库)
Hbase继承了列存储的特性，它非常适合需对数据进行随机读、写操作。 其次，Hbase构建在HDFS之上，其内部管理的文件全部存储在HDFS中。这使它具有高度容错性和可扩展性，并支持Hadoop mapreduce程序设计模型。
6. Hive(数据仓库)
7. Oozie(工作流调度器)
Oozie 是一个基于工作流引擎的调度器，它其实就是一个运行在 Java Servlet 容器(如 Tomcat)中的 Javas Web 应用，你可以在它上面运行 Hadoop 的 Map Reduce 和 Pig 等任务，。
8. Sqoop 与 Pig
9. Flume(日志收集工具)
Flume 是将数据从产生、传输、处理并最终写入目标路径的过程抽象为数据流，在具体的数据流中，数据源支持在 Flume 中定制数据发送方，从而支持收集各种不同协议数据。
10. Kafka(分布式消息队列)
Kafka 是 Apache 组织下的一个开源系统，它的最大特性就是可以实时的处理大量数据以满足各种需求场景：比如基于 Hadoop 平台的数据分析、低时延的实时系统、Storm/Spark 流式处理引擎等。Kafka 现在它已被多家大型公司作为多种类型的数据管道和消息系统使用。
11. ZooKeeper(分布式协作服务)
通俗的讲，ZooKeeper 相当于一个和事佬的角色，如果两人之间发生了一些矛盾或者冲突，无法自行解决的话，这个时候就需要 ZooKeeper 这个和事佬从中进行调解，而和事佬调解的方式是站在第三方客观的角度，根据一些规则(如道德规则、法律规则)，客观的对冲突双方做出合理、合规的判决。
12. Ambari(大数据运维工具)
Ambari 是一个大数据基础运维平台，它实现了 Hadoop 生态圈各种组件的自动化部署、服务管理和监控告警，Ambari 通过 puppet 实现自动化安装和配置，通过 Ganglia 收集监控度量指标，用 Nagios 实现故障报警。
5. mapreduce存储
1.有一个待处理的大数据，被划分成大小相同的数据库(如64MB)，以及与此相应的用户作业程序。
2.系统中有一个负责调度的主节点(Master)，以及数据Map和Reduce工作节点(Worker).
3.用户作业提交个主节点。
4.主节点为作业程序寻找和配备可用的Map节点，并将程序传送给map节点。
5.主节点也为作业程序寻找和配备可用的Reduce节点，并将程序传送给Reduce节点。
6.主节点启动每一个Map节点执行程序，每个Map节点尽可能读取本地或本机架的数据进行计算。(实现代码向数据靠拢，减少集群中数据的通信量)。
7.每个Map节点处理读取的数据块，并做一些数据整理工作(combining,sorting等)并将数据存储在本地机器上；同时通知主节点计算任务完成并告知主节点中间结果数据的存储位置。
8.主节点等所有Map节点计算完成后，开始启动Reduce节点运行；Reduce节点从主节点所掌握的中间结果数据位置信息，远程读取这些数据。
9.Reduce节点计算结果汇总输出到一个结果文件，即获得整个处理结果。
6. mapreduce数据库
hive查询语言用的是hql，解析引擎为hql引擎，解析为mapreduce任务，而sql是针对关系型数据库的。
7. mapreduce hbase
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。
利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。
8. mapreduce操作hbase
目前开源hadoop只包含hdfs,mr,和yarn，yarn是hadoop2新增组件。 hdfs是hadoop分布式文件系统，主要采用多备份方式存储文件，可以对接hive和hbase等产品并存储对应数据。
mapreduce是大数据处理并行框架，用户可以编写自己的程序调用mr框架并行的处理大数据，在调用过程中可以调整m和r的数目。不过总的来说编程相对复杂，因此诞生了hive. yarn作为新生控件，主要管理hadoop各个模块运行过程中的任务调度，目前主要有公平调度与容量调度两种模型. 如果需要其他组件，需要单独下载安装。
9. hbase和mapreduce的关系
大数据管理与应用就业方向
1.ETL研发
ETL研发，主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。
2.Hadoop开发
Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储，MapReduce提供了对数据的计算。随着数据集规模不断增大，而传统BI的数据处理成本过高，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长。
3.可视化开发
可视化开发就是在可视开发工具提供的图形用户界面上，通过操作界面元素，由可视开发工具自动生成应用软件。
学生毕业也可继续深造，利用所学习的商业分析的能力在科学商业决策领域，营销科学领域，管理科学领域，商业智能领域等的相关高等院校，研究所等继续求学。
10. mapreduce可以直接访问hbase
HBase与传统关系数据库的区别？
答：主要体现在以下几个方面：1.数据类型。关系数据库采用关系模型，具有丰富的数据类型和储存方式。HBase则采用了更加简单的数据模型，它把数据储存为未经解释的字符串，用户可以把不同格式的结构化数据和非结构化数据都序列化成字符串保存到HBase中，用户需要自己编写程序把字符串解析成不同的数据类型。
2.数据操作。关系数据库中包含了丰富的操作，如插入、删除、更新、查询等，其中会涉及复杂的多表连接，通常是借助多个表之间的主外键关联来实现的。HBase操作则不存在复杂的表与表之间的关系，只有简单的插入、查询、删除、清空等，因为HBase在设计上就避免了复杂的表与表之间的关系，通常只采用单表的主键查询，所以它无法实现像关系数据库中那样的表与表之间的连接操作。
3.存储模式。关系数据库是基于行模式存储的，元祖或行会被连续地存储在磁盘页中。在读取数据时，需要顺序扫描每个元组，然后从中筛选出查询所需要的属性。如果每个元组只有少量属性的值对于查询是有用的，那么基于行模式存储就会浪费许多磁盘空间和内存带宽。HBase是基于列存储的，每个列族都由几个文件保存，不同列族的文件是分离的，它的优点是：可以降低I/O开销，支持大量并发用户查询，因为仅需要处理可以回答这些查询的列，而不是处理与查询无关的大量数据行；同一个列族中的数据会被一起进行压缩，由于同一列族内的数据相似度较高，因此可以获得较高的数据压缩比。
4.数据索引。关系数据库通常可以针对不同列构建复杂的多个索引，以提高数据访问性能。与关系数据库不同的是，HBase只有一个索引——行键，通过巧妙的设计，HBase中所有访问方法，或者通过行键访问，或者通过行键扫描，从而使整个系统不会慢下来。由于HBase位于Hadoop框架之上，因此可以使用Hadoop MapReduce来快速、高效地生成索引表。
6.数据维护。在关系数据库中，更新操作会用最新的当前值去替换记录中原来的旧值，旧值被覆盖后就不会存在。而在HBase中执行更新操作时，并不会删除数据旧的版本，而是生成一个新的版本，旧有的版本仍旧保留。
7.可伸缩性。关系数据库很难实现横向扩展，纵向扩展的空间也比较有限。相反，HBase和BigTable这些分布式数据库就是为了实现灵活的水平扩展而开发的，因此能够轻易地通过在集群中增加或者减少硬件数量来实现性能的伸缩。
但是，相对于关系数据库来说，HBase也有自身的局限性，如HBase不支持事务，因此无法实现跨行的原子性。
注：本来也想来问这个问题，然后复制一下的。结果找不到，只好自己手打了，麻烦复制拿去用的同学点下赞呗。
11. hbase mapreduce关系
大数据应用开发工程师
此类人才负责搭建大数据应用平台以及开发分析应用程序，他们必须熟悉工具或算法、编程、优化以及部署不同的MapReduce，他们研发各种基于大数据技术的应用程序及行业解决方案。其中，ETL开发者是很抢手的人才，他们所做的是从不同的源头抽取数据，转换并导入数据仓库以满足企业的需要，将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，末后加载到数据仓库，成为联机分析处理、数据挖掘的基础，为提取各类型的需要数据创造条件。
大数据分析师
此类人才主要从事数据挖掘工作，运用算法来解决和分析问题，让数据显露出真相，同时，他们还推动数据解决方案的不断更新。随着数据集规模不断增大，企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长，具备Hadoop框架经验的技术人员是很抢手的大数据人才，他们所从事的是热门的分析师工作。
- 相关评论
- 我要评论
-