分享

将数据文件导入到HBase中

 IT技术武馆 2014-07-24

假设有一个TSV格式的数据文件test.dat(TSV是指数据文件中的每个字段是以制表符隔开的)


首先,将test.dat上传到hdfs上,具体的命令如下:

hadoop fs -copyFromLocal test.dat的路径名  /tmp/test.dat(/tmp是hdfs上的一个目录)


执行以下命令就可以查看hdfs上的tmp目录下是否有刚刚上传的文件

hadoop -fs ls /tmp


然后就可以用hbase中的命令接口将该数据导入到HBASE中已经建好的表中(假设建好的表是test,列族为Info)


注:test.dat中的数据存储格式是userid\tmusic\t\time\tnetid,以time为rowkey

bin/hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.columns=info:userid,info:musicid,HBASE_ROW_KEY,info:netid test(HBASE的表明)  /tmp/test.dat(hdfs文件路径)

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多