分享

SQOOP安装手册(附安装文件)

 彧lljb1zbsmint 2018-05-31

约定:

 

本次安装测内容

1,   SQOOP 数据库中导入数据到HDFS

2,   SQOOP 数据库中导入数据到HIVE

3,   SQOOP HIVE中将数据导出到数据库

 

版本:sqoop-1.4.6

 

SQOOP2的版本,性能不太稳定。

 

下载安装文件

链接:https://pan.baidu.com/s/1DvgGAse5qIfIkfe0lPlq0w  密码:t9n2

(感谢科多大数据的武老师提供的安装文件)

 

 第一步解压:

tar -zxvf sqoop-1.4.6-cdh5.5.2.tar.gz -C /opt/

mv sqoop-1.4.6-cdh5.5.2/ sqoop

 

第二步骤

 

mysql的驱动包拷贝到 sqoop_home/lib下面

 

 

第三步骤:配置环境变量(注意修改为自己的路径)

 

export SQOOP_HOME=/opt/cdh5/sqoop

export PATH=$PATH:$SQOOP_HOME/bin

 

第四步:配置SQOOPvi /opt/sqoop/conf/sqoop-env.sh

 

 修改为自己的 安装目录

 

第五步:检测配置

Sqoop version 查看版本号是否返回即可

 
 开始使用:

 

 

前提: Mysql可以正常使用

       HDFS服务开启

              HIVE服务开启 nohup hive --service metastore &

 

 

一、 查看当前MYSQL中的元数据信息

查看数据库

sqoop list-tables --connect jdbc:mysql://192.168.133.139:3306/hive --username hive –P

查看表

sqoop list-tables --connect jdbc:mysql://192.168.133.139:3306/hive --username hive -P

 

 

#使用 sqoop将数据库的数据导入到 Hdfs(地址使用默认地址/user/$user/tabname

 

 sqoop import \

 --connect jdbc:mysql://192.168.133.139:3306/hive \

 --username hive \

 --password hive \

 --table TBLS

 

 #列出指定数据库下面的 表的列表

 

 sqoop list-tables --connect jdbc:mysql://192.168.128.152:3306/hive \

 --username hive \

 --password hive

 

 #使用 sqoop将数据库的数据导入到 Hdfs

 #使用指定的输出目录

 #使用指定的并发数量

 sqoop import \

 --connect jdbc:mysql://192.168.128.152:3306/hive \

 --username hive --password hive \

 --table TABLE_PARAMS \

 --target-dir /tmp/TABLE_PARAMS \

 -m 2

 

 #使用sqoopHDFS文件导出到 MYSQL 表中,默认MAP 4

 sqoop export \

 --connect jdbc:mysql://192.168.128.152:3306/hive \

 --table table_bak \

 --username hive \

 --password hive \

 --export-dir hdfs://192.168.128.152:9000/tmp/TABLE_PARAMS

 

 TBLS_BAK

 ----------------------我是分界线---------------------------------------------------------

 

 

 #使用自定义的条件,并且过滤字段,并发数为1

 #切分的字段可以更改为另外一个字段 

 sqoop import \

 --connect jdbc:mysql://192.168.128.152:3306/hive \

 --username hive \

 --password hive \

 --query "SELECT PARAM_VALUE from hive.TABLE_PARAMS where \$CONDITIONS and TBL_ID>7"  \

 --split-by TBL_ID \

 -m 1 \

 --target-dir /tmp/TABLE_PARAMS_BAK

 

 

 

   sqoop import \

  --hive-import \

  --hive-table kk \

  --connect jdbc:mysql://192.168.128.152:3306/hive \

  --username hive \

  --password hive \

  --query "SELECT PARAM_VALUE from hive.TABLE_PARAMS where \$CONDITIONS and TBL_ID>7"  \

  --fields-terminated-by "," \

  --lines-terminated-by "\n" \

  --target-dir /tmp/aa \

  -m 1

    本站是提供个人知识管理的网络存储空间,所有内容均由用户发布,不代表本站观点。请注意甄别内容中的联系方式、诱导购买等信息,谨防诈骗。如发现有害或侵权内容,请点击一键举报。
    转藏 全屏 打印 分享 献花(0

    0条评论

    发表

    请遵守用户 评论公约

    类似文章 更多