`
zhangxiong0301
  • 浏览: 352321 次
社区版块
存档分类
最新评论

HBASE批量数据导入

阅读更多
把MYSQL中的数据导入到hbase中,采用HBASE自带的BULK加载工具完成。过程分三步:
1.从mysql中导出数据为CSV或TSV格式的文本文件
2.利用importtsv工具转换Tsv文件为hbase的数据文件格式HFILE
3.利用completeulkload加载上一步生成的hbase数据文件


具体步骤:
1.导数据:
select concat(model,'_',pkg_name,'_',meid),meid,model,pkg_name,label,install_type,genera_type,specific_type into outfile '/home/zx/d02.txt' fields terminated by '\t' lines terminated by '\n' from tb_yl_device_app_info_5230                       ;

2.文件转换
hbase org.apache.hadoop.hbase.mapreduce.Driver importtsv -Dimporttsv.columns=HBASE_ROW_KEY,cf:meid,cf:model,cf:pkg_name,cf:label,cf:install_type,cf:genera_type,cf:specific_type -Dimporttsv.bulk.output=/user/hadoop/mysqldata/ tb_yl_device_app_info1 /home/hadoop/device_app/zx/

3.加载hbase
hbase org.apache.hadoop.hbase.mapreduce.Driver completebulkload /user/hadoop/mysqldata/ tb_yl_device_app_info1


注意:
在执行第二步的时候可能会报错java.lang.NoClassDefFoundError: com/google/common/collect/Multimap,
只需要将guava-11.0.2.jar考到hadoop的lib目录下就OK,附件是这个jar
分享到:
评论

相关推荐

    hbase各种例子新增修改删除批量导入

    hbase各种例子新增修改删除批量导入: public static void main(String[] args) throws IOException { Configuration conf = HBaseConfiguration.create(); HBaseHelper helper = HBaseHelper.getHelper(conf); ...

    Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据).pdf

    Hbase笔记 —— 利用JavaAPI的方式操作Hbase数据库(往hbase的表中批量插入数据)

    java解决hive快速导数据到Hbase代码

    基于hadoop的,java实现hive快速导数据到Hbase解决方案。

    HBaseBulkImportXML:如何将 XML 文件中的数据批量导入 HBase 表的示例

    HBaseBulkImportXML 如何将数据从 XML 文件批量导入 HBase 表的示例。hbase-bulk-import-XML-example 执照Apache 许可。 HBase 提供对大数据的随机读写访问,但将大数据放入 HBase 可能是一个挑战。 使用 API 将数据...

    HBaseClient:HBase客户端数据管理软件

    HBase客户端数据管理软件 概要说明 类似PL/SQL,是一个HBase数据库的客户端数据管理软件。是免费开源的软件。 基于XJava,使用xml配置文件绘制可视化界面。 可视化界面操作 表 表的定义、编辑、删除; 数据 数据的...

    Hbase权威指南(HBase: The Definitive Guide)

    高清英文PDF版。 如果你正在寻找一种具备可伸缩性的存储解决方案来适应几乎没有穷尽的数据的话,这本书将可以向你表明apache ... ■了解如何调节集群、设计模式、拷贝表、导入批量数据、删除节点以及其他更多的任务

    HBase权威指南中文版

    探讨了与Hadoop的高度集成如何使HBase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器集群中;...助你了解如何调节集群、设计模式、拷贝表、导入批量数据、删除节点以及其他更多的任务等。

    hbase权威指南

    《HBase权威指南》探讨了如何通过使用与HBase高度集成的Hadoop将HBase的...了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。  《HBase权威指南》适合使用HBase进行数据库开发的高级数据库研发人员阅读

    HBase权威指南

    《hbase权威指南》探讨了如何通过使用与hbase高度集成的hadoop将hbase的...了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。, 《hbase权威指南》适合使用hbase进行数据库开发的高级数据库研发人员阅读

    HBASE指南中文

    本书探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器集群中;...了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。

    HBase权威指南(中文版).pdf

    《HBase权威指南》探讨了如何通过使用与HBase高度集成的Hadoop将HBase...了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。 《HBase权威指南》适合使用HBase进行数据库开发的高级数据库研发人员阅读。

    HBase基本操作.pdf

    htabse 命令的基本操作步骤,1.熟悉使用HBase操作常用的Shell命令。 2.学会表和族的属性操作。 3.学会Filter操作。 4.学会时间戳和数据版本的操作。 学会数据批量导入。

    hbase权威指南中文版

    《HBase权威指南》探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单;把大型数据集分布到相对廉价的商业服务器...了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。(仅供学习使用)

    Hbase权威指南

    《hbase权威指南》探讨了如何通过使用与hbase高度集成的hadoop将hbase的...了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。, 《hbase权威指南》适合使用hbase进行数据库开发的高级数据库研发人员阅读

Global site tag (gtag.js) - Google Analytics