主页 > 数据处理 > hbase中什么是Region,什么是RegionServer

hbase中什么是Region,什么是RegionServer

2023-02-08 04:36来源:m.sf1369.com作者:宇宇

一、hbase中什么是Region,什么是RegionServer

Region是HBase数据存储和管理的基本单位。

一个表中可以包含一个或多个Region。

每个Region只能被一个RS(RegionServer)提供服务,RS可以同时服务多个Region,来自不同RS上的Region组合成表格的整体逻辑视图。

二、hbase-site.xml

解析HTML结构。

加载外部脚本和样式表文件。

解析并执行脚本代码。

DOM树构建完成。//DOMContentLoaded

加载图片等外部文件。

页面加载完毕。//load

三、Spark 读取 Hbase 数据

下面这种方式是全表扫描,Spark如果通过RS来访问Hbase数据进行数据分析,对RS会产生很大的压力。不太建议使用下面的方式

在本地测试时返现运行的很慢,后来看到以下日志

由于Hbase表中只有两个region,所以只启动两个Task,此时并行度为二!

那么也就是说Spark读取Hbase的并行度取决于这个表有多少个region。然后根据region的startkey和endkey来获取数据

四、数据分析专业主修课程?

基础阶段:Linux、Docker、KVM、MySQL基础、Oracle基础、MongoDB、redis。hadoop mapreduce hdfs yarn:hadoop:Hadoop 概念、版本、历史,HDFS工作原理,YARN介绍及组件介绍。

大数据存储阶段:hbase、hive、sqoop。大数据架构设计阶段:Flume分布式、Zookeeper、Kafka。

大数据实时计算阶段:Mahout、Spark、storm。

大数据数据采集阶段:Python、Scala。

大数据商业实战阶段:实操大数据处理业务场景,分析需求、解决方案实施,综合技术实战应用。

相关推荐

车联网企业国内有哪些?

数据处理 2023-12-23

注册计量师-请教贴

数据处理 2023-12-19

逆光照片怎么处理

数据处理 2023-12-08