他的首页
他的馆藏
他的动态
馆友反馈
关于他
| 共 5 篇文章 |
|
Sqoop安装与使用(sqoop-1.4.5 on hadoop 1.0.4)两个不同的版本，完全不兼容 版本号划分区别，Apache版本：1.4.x(Sqoop1); 1.99.x(Sqoop2) CDH版本 : Sqoop-1.4.3-cdh4(Sqoop1) ;Sqoop2-1.99.2-cdh4.5.0 (Sqoop2)Sqoop2比Sqoop1的改进 引入Sqoop server，集中化管理connector等 多种访问方式：CLI,Web UI，REST API 引入基于角色的安全机制。#... 阅539 转4 评0 公众公开 15-07-27 09:13 |
将Oracle中的数据导入到HDFS中sqoop import --append --connect $CONNECTURL --username $ORACLENAME --password $ORACLEPASSWORD --target-dir $hdfsPath --num-mappers 1 --table $oralceTableName --columns $columns --fields-terminated-by ''\001''首先看看这个表都有哪些字段： 然后，我假设ds_name字段是一个可以选取... 阅194 转2 评0 公众公开 15-07-24 14:05 |
sqoop ##sqoop命令。sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --table users --username dyh.sqoop import --append --connect jdbc:mysql://192.168.20.118:3306/test --username dyh --password 000000 --table userinfos --columns "id,age,name" --where "id >3 and (age = 88 or age = 80... 阅199 转2 评0 公众公开 15-07-24 14:02 |
阅619 转11 评0 公众公开 15-07-24 13:58 |
大数据同步工具DataX与Sqoop之比较。从接触DataX起就有一个疑问，它和Sqoop到底有什么区别，昨天部署好了DataX和Sqoop，就可以对两者进行更深入的了解了。而实际的测试中也是如此，测试一个Oracle to hdfs的作业，DataX上只能看到运行DataX上的机器的数据库连接，而Sqoop运行时，4台task-tracker全部产生一个数据库连接。Sqoop现在作为Apache的... 阅1716 转3 评0 公众公开 15-06-10 09:57 |
