错误1：JA009: Unknown rpc kind in rpc headerRPC_WRITABLE
解决：如果采用hadoop2xx，oozie的war包打入了mr1系列的jar，去掉即可（就是拷贝hadoop相关包到libext里面的时候，把mapreduce1里面的jar拷贝进去了，查找带mr1的jar包去掉即可）
错误2：java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.SqoopMain not found
解决：提交oozie任务的时候，未指定到sharelib下面的sqoop目录下，如下设置即可解决
<property>
<name>oozie.libpath</name>
<value>hdfs://dnsa-201:9000/user/hadoop/share/lib/lib_20161202132230/sqoop</value>
</property>
错误3：mysql的问题，需要把$HADOOP_HOME/etc/hadoop/yarn里面的mysql驱动换成最新，即可解决常见的mysql问题
调试利器：
记得提交oozie job的时候，sqoop命令加入一行--verbose，那么所有的log以及错误详细信息都会显示在$HADOOP_HOME/logs/userlogs目录下面，查找stdout即可定位到所有问题。
还有一个大坑问题，sqoop命令行里面 每一条命令后面如果跟参数，全部都需要换行，比如 -m 5 不能写在一行，-m 5分成两行写 ，否则就是识别不了的命令，坑了半天~
查找不到hive命令，两种方法，一种在$SQOOP_HOME/conf/sqoop-env.sh 里面添加hive_home或者指定HIVE_HOME
另一种直接在sqoop命令里面指定--hive-home $HIVE_HOME 即可，记得换行。
指定hive多分区的问题，需要修改sqoop源码，修改TableDefWriter
posted on 2016-12-06 17:45
朔望魔刃 阅读(1131)
评论(0) 编辑 收藏 所属分类:
java