大数据源码编译系列——Sqoop2编译

  |   0 评论   |   2,049 浏览

准备环境

JDK8

Maven

Ant

Git

GCC

Cmake

编译Sqoop2

CDH发行版下载地址

准备文件

[root@nn1 native]# cd /usr/local/src/
[root@nn1 src]# wget http://archive.cloudera.com/cdh5/cdh/5/sqoop2-1.99.5-cdh5.11.1-src.tar.gz
[root@nn1 src]# tar zxvf sqoop2-1.99.5-cdh5.11.1-src.tar.gz -C /usr/local/src/
[root@nn1 src]# cd sqoop2-1.99.5-cdh5.11.1

修改Sqoop2依赖的JDK版本

[root@nn1 sqoop2-1.99.5-cdh5.11.1]# sed -i "s/1.7/1.8/g" `grep javaVersion -rl /usr/local/src/sqoop2-1.99.5-cdh5.11.1/pom.xml`

否则会报以下错误

[INFO] --- maven-enforcer-plugin:1.0:enforce (clean) @ sqoop ---
[WARNING] Rule 1: org.apache.maven.plugins.enforcer.RequireJavaVersion failed with message:
Detected JDK Version: 1.8.0-131 is not in the allowed range [1.7.0,1.7.1000}].

编译

[root@nn1 sqoop2-1.99.5-cdh5.11.1]# mvn clean package -DskipTests -Pbinary -Pdist

编译结果

[INFO] ------------------------------------------------------------------------
[INFO] Reactor Summary:
[INFO] 
[INFO] Sqoop .............................................. SUCCESS [  1.549 s]
[INFO] Sqoop Common Test Libraries ........................ SUCCESS [01:04 min]
[INFO] Sqoop Common ....................................... SUCCESS [ 26.935 s]
[INFO] Sqoop Connectors ................................... SUCCESS [  0.191 s]
[INFO] Sqoop Connector SDK ................................ SUCCESS [ 17.089 s]
[INFO] Sqoop Core ......................................... SUCCESS [  8.622 s]
[INFO] Sqoop Repository ................................... SUCCESS [  0.024 s]
[INFO] Sqoop Common Repository ............................ SUCCESS [  8.774 s]
[INFO] Sqoop Derby Repository ............................. SUCCESS [ 12.808 s]
[INFO] Sqoop PostgreSQL Repository ........................ SUCCESS [  5.033 s]
[INFO] Sqoop Tools ........................................ SUCCESS [  4.303 s]
[INFO] Sqoop Security ..................................... SUCCESS [  6.095 s]
[INFO] Sqoop Execution Engines ............................ SUCCESS [  0.040 s]
[INFO] Sqoop Mapreduce Execution Engine ................... SUCCESS [ 11.645 s]
[INFO] Sqoop Submission Engines ........................... SUCCESS [  0.042 s]
[INFO] Sqoop Mapreduce Submission Engine .................. SUCCESS [  1.947 s]
[INFO] Sqoop Generic JDBC Connector ....................... SUCCESS [  5.103 s]
[INFO] Sqoop HDFS Connector ............................... SUCCESS [  6.263 s]
[INFO] Sqoop Kite Connector ............................... SUCCESS [02:22 min]
[INFO] Sqoop Kafka Connector .............................. SUCCESS [  8.029 s]
[INFO] Sqoop Server ....................................... SUCCESS [ 50.870 s]
[INFO] Sqoop Client ....................................... SUCCESS [ 40.459 s]
[INFO] Sqoop Shell ........................................ SUCCESS [01:01 min]
[INFO] Sqoop Documentation ................................ SUCCESS [03:35 min]
[INFO] Sqoop Tomcat additions ............................. SUCCESS [ 14.247 s]
[INFO] Sqoop Distribution ................................. SUCCESS [ 50.945 s]
[INFO] Sqoop Integration Tests ............................ SUCCESS [ 49.143 s]
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
[INFO] Total time: 13:36 min
[INFO] Finished at: 2017-06-24T08:40:34-07:00
[INFO] Final Memory: 383M/1123M
[INFO] ------------------------------------------------------------------------

查看编译结果文件

[root@nn1 sqoop2-1.99.5-cdh5.11.1]# ll dist/target/
total 83936
drwxr-xr-x.  2 root root     4096 Jun 24 08:38 antrun
-rw-r--r--.  1 root root  7085510 Jun 24 08:39 apache-tomcat.tar.gz
drwxr-xr-x.  3 root root     4096 Jun 24 08:38 maven-shared-archive-resources
drwxr-xr-x. 21 root root     4096 Jun 24 08:39 sqoop-1.99.5-cdh5.11.1-bin-hadoop200
-rw-r--r--.  1 root root 78848397 Jun 24 08:39 sqoop-1.99.5-cdh5.11.1-bin-hadoop200.tar.gz
[root@nn1 sqoop2-1.99.5-cdh5.11.1]# ll dist/target/sqoop-1.99.5-cdh5.11.1-bin-hadoop200/
total 188
drwxr-xr-x.  2 root root  4096 Jun 24 08:39 bin
-rw-r--r--.  1 root root 51764 Jun 24 08:38 CHANGELOG.txt
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 client
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 cloudera
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 common
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 common-test
drwxr-xr-x.  9 root root  4096 Jun 24 08:38 connector
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 core
drwxr-xr-x.  2 root root  4096 Jun 24 08:38 dev-support
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 dist
drwxr-xr-x.  8 root root  4096 Jun 24 08:38 docs
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 execution
-rw-r--r--.  1 root root 17253 Jun 24 08:38 LICENSE.txt
-rw-r--r--.  1 root root   166 Jun 24 08:38 NOTICE.txt
-rw-r--r--.  1 root root 30247 Jun 24 08:38 pom.xml
-rw-r--r--.  1 root root  1610 Jun 24 08:38 README.txt
drwxr-xr-x.  5 root root  4096 Jun 24 08:38 repository
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 security
drwxr-xr-x. 10 root root  4096 Jun 24 08:39 server
drwxr-xr-x.  4 root root  4096 Jun 24 08:39 shell
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 submission
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 test
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 tomcat
drwxr-xr-x.  3 root root  4096 Jun 24 08:38 tools


读后有收获可以支付宝请作者喝咖啡