随笔-95  评论-31  文章-10  trackbacks-0
错误1:JA009: Unknown rpc kind in rpc headerRPC_WRITABLE
解决:如果采用hadoop2xx,oozie的war包打入了mr1系列的jar,去掉即可(就是拷贝hadoop相关包到libext里面的时候,把mapreduce1里面的jar拷贝进去了,查找带mr1的jar包去掉即可)


错误2:java.lang.ClassNotFoundException: Class org.apache.oozie.action.hadoop.SqoopMain not found
解决:提交oozie任务的时候,未指定到sharelib下面的sqoop目录下,如下设置即可解决
 
    <property>
    
<name>oozie.libpath</name>
    
<value>hdfs://dnsa-201:9000/user/hadoop/share/lib/lib_20161202132230/sqoop</value>
    </property>

错误3:mysql的问题,需要把$HADOOP_HOME/etc/hadoop/yarn里面的mysql驱动换成最新,即可解决常见的mysql问题

调试利器:
记得提交oozie job的时候,sqoop命令加入一行--verbose,那么所有的log以及错误详细信息都会显示在$HADOOP_HOME/logs/userlogs目录下面,查找stdout即可定位到所有问题。

还有一个大坑问题,sqoop命令行里面 每一条命令后面如果跟参数,全部都需要换行,比如 -m 5  不能写在一行,-m 5分成两行写 ,否则就是识别不了的命令,坑了半天~

查找不到hive命令,两种方法,一种在$SQOOP_HOME/conf/sqoop-env.sh 里面添加hive_home或者指定HIVE_HOME 
                                       另一种直接在sqoop命令里面指定--hive-home  $HIVE_HOME 即可,记得换行。 

指定hive多分区的问题,需要修改sqoop源码,修改TableDefWriter
posted on 2016-12-06 17:45 朔望魔刃 阅读(979) 评论(0)  编辑  收藏 所属分类: java

只有注册用户登录后才能发表评论。


网站导航: