`
zhangxiong0301
  • 浏览: 352314 次
社区版块
存档分类
最新评论

HBASE 预分区建表

阅读更多
在create一个表时如果不指定预分配region,则默认会先分配一个region,这样在大数据并行载入时性能比较低,因为所有的数据都往一个region灌入,容易引起单节点负载升高,从而影响入库性能,一个好的方法时在建立表时预先分配数个region。方法有两种,主要针对不同版本可供选择。

1.使用RegionSplitter方法,主要针对hbase-0.90.X版本

a.首先使用RegionSplitter建表,预分配region,例如建立一个poidb表,列簇为info,预分配9个region,

hbase org.apache.hadoop.hbase.util.RegionSplitter -c 9 -f info poidb

b.修改建表参数(可选)

默认建表是没有开启Bloomfilter和压缩参数的,这里为了提供读性能,建议开启Bloomfilter,同时使用压缩SNAPPY,进入hbase shell,首先需要disable 'poidb',然后使用使用

alter 'poidb',{NAME => 'info',BLOOMFILTER => 'ROWCOL',COMPRESSION => 'SNAPPY',VERSIONS => '1'}

最后enable 'poidb'

2.使用hbase shell建表参数,真多0.94.x版本

0.94版本可以直接在建表时直接使用预分配regions:

create 'poidb', { NAME => 'info', COMPRESSION => 'snappy' },  {NUMREGIONS => 9, SPLITALGO => 'HexStringSplit'}
分享到:
评论

相关推荐

    下载ftp文件,读取内容通过Phoenix JDBC连接往Hbase数据库中建表插入数据。

    从ftp下载文件,通过Phoenix 的JDBC方式连接Hbase数据库,建表,导入数据,查询等操作。

    HBase的预分区

    HBase默认建表时有一个region,这个region的rowkey是没有边界的,即没有start key和end key,在数据写入时,所有数据都会写入这个默认的region,随着数据量的不断增加,region的size越来越大时,大到一定的阀值,...

    Java操作Hbase进行建表、删表以及对数据进行增删改查

    Java操作Hbase进行建表、删表以及对数据进行增删改查,条件查询

    eclipse构建HBase开发环境并运行实例对Hbase建表增删改查

    eclipse构建HBase开发环境并运行实例对Hbase建表增删改查。本次HBase版本为hbase-0.90.5版本,Hadoop版本为Hadoop-0.20.2版本。

    hbase-manager安装包,已编译

    HBase表管理:表创建、预分区建表(内置三种预分区方案)、表删除、表信息更改、表清空 列簇管理:列簇新增、删除、属性修改 标签管理:HBase表的标签管理 数据管理:HBase表数据的查询、新增、删除。 多集群...

    Hbase 分区操作

    hbase分区merge和split操作,手动操作,不是自动。具体看代码

    hbase的shell操作

    这里详细介绍了hbase的命令行操作,版本信息的一些管理

    hbase的Rowkey设计方案.pdf

    hbase的Rowkey设计⽅案 1.1 hbase的概述 的概述 HBase由于其... 1.2 hbase的设计原则以及解决⽅法 的设计原则以及解决⽅法 1.3 预分区 预分区 1.3.1 什么是预分区 什么是预分区 HBase表在刚刚被创建时,只有1个分区

    hbase数据可视化系统

    springboot搭建的hbase可视化界面 支持hbase的建表与删除 支持根据rowkey查询数据

    HbaseGUI:Hbase图形用户界面

    提供可视化查询、元数据管理和支持预分区建表三大功能特点响应式设计Hbase数据/操作可视化提供包括Rowkey、版本号、Scan时间和各类Filter在内的高级查询提供元数据管理提供命名空间管理创建表时支持通过设置起止...

    HBaseRowkey的散列与预分区设计

    HBase中,表会被划分为1...n个Region,被托管在RegionServer中。Region二个重要的属性:StartKey与EndKey表示这个Region维护的rowKey范围,当我们要读/写数据时,如果rowKey落在某个start-endkey范围内,那么就会定位...

    Hive与Hbase的整合

    Hive与Hbase的整合,集中两者的优势,使用HiveQL语言,同时具备了实时性

    Hadoop与HBase自学笔记

    Hadoop与HBase自学笔记 1、 安装jdk 2、 安装Cygwin以及相关服务 2.1 安装Cygwin ...4.6 建表与插数据 5、HBase数据库 5.1 数据类型 5.2 HBase语法教程 6、eclipse下开发hbase 7、集群下开发HBase

    HbaseTemplate 操作hbase

    java 利用 sping-data-hadoop HbaseTemplate 操作hbase find get execute 等方法 可以直接运行

    pinpoint的hbase初始化脚本hbase-create.hbase

    搭建pinpoint需要的hbase初始化脚本hbase-create.hbase

    HBase视频教程下载|基于微博数据应用的HBase实战开发

    课时3:HBase建库建表与CRUD实战 课时4:基于HBase Client API的CRUD实战 课时5:批处理与扫描器实战 课时6:使用Ganglia监控HBase 课时7:过滤器实战之比较过滤器 课时8:过滤器实战之专用过滤器与FilterList ...

    HBase入门:命名空间、建表、增删改查

    进入HBase数据库 hbase shell 注意HBase Shell 中的删除键没用,要用【Ctrl+Backspace】,每个命令之后不需要分号(;)结束。 HBase帮助命令: hbase> help 'create' 命名空间 列出所有命名空间 hbase> list_...

    HBase数据库设计.doc

    1. HBase有哪些基本的特征? 1 HBase特征: 1 2. HBase相对于关系数据库能解决的问题是什么? 2 HBase与关系数据的区别? 2 HBase与RDBMS的区别? 2 3. HBase的数据模式是怎么样的?即有哪些元素?如何存储?等 3 1...

    HBase(hbase-2.4.9-bin.tar.gz)

    HBase(hbase-2.4.9-bin.tar.gz)是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。就像Bigtable利用了Google文件系统(File System...

    hbase 完全使用手册

    hbase完全参考手册,不过是英文版。非常全面hbase英文参考手册

Global site tag (gtag.js) - Google Analytics