本文共 1479 字，大约阅读时间需要 4 分钟。

一、安装

1. 解压

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/

2. 改名

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha/ sqoop

3. 修改配置文件

export HADOOP_COMMON_HOME=/opt/module/hadoop-2.7.2export HADOOP_MAPRED_HOME=/opt/module/hadoop-2.7.2export HIVE_HOME=/opt/module/hiveexport ZOOKEEPER_HOME=/opt/module/zookeeper-3.4.10export ZOOCFGDIR=/opt/module/zookeeper-3.4.10/confexport HBASE_HOME=/opt/module/hbase

4. 导入mysql驱动包

1. 解压mysql驱动包

tar -zxvf mysql-connector-java-5.1.27.tar.gz

2. 放到sqoop的lib下

cp mysql-connector-java-5.1.27-bin.jar /opt/module/sqoop/lib/

5. 查看命令

1. import： 从数据库导入导HDFS
2. export： 从HDFS导入导数据库

bin/sqoop help

6. list-databases

bin/sqoop list-databases --connect jdbc:mysql://hadoop102:3306 --username root --password 000000

二、import应用

1. 写配置

截图中的columns有错误

bin/sqoop import \--connect jdbc:mysql://hadoop102:3306/gmall \--username root \--password 000000 \--table user_info \--where "id>=100 and id <=200" \--columns id,name \--target-dir /test/user_info \--delete-target-dir \--fields-terminated-by '\t' \--num-mappers 2 \--split-by id

2. 运行

3. 查看结果

4. 优化

其中 $CONDITIONS 是开了两个map ，决定数据走向的是这个变量

bin/sqoop import \--connect jdbc:mysql://hadoop102:3306/gmall \--username root \--password 000000 \--query "select id,name from user_info where id >=100 and id <=200 and \$CONDITIONS" \--target-dir /test/user_info \--delete-target-dir \--fields-terminated-by '\t' \--num-mappers 2 \--split-by id

三、Life

“七友：谁人曾照顾过我的感受 天后：我明明都懂却拼死效忠 趁早：我可以笑着扮演你配角 淘汰：我却得到你安慰的淘汰 围城：我仍在安静默默在苦等”

转载地址：http://rvzhn.baihongyu.com/