BlogJava-bob-文章分类-hivehttp://www.blogjava.net/keweibo/category/55305.html<script async src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script> <!-- iteye 460 60 --> <ins class="adsbygoogle" style="display:inline-block;width:468px;height:60px" data-ad-client="ca-pub-2876867208357149" data-ad-slot="0418982663"></ins> <script> (adsbygoogle = window.adsbygoogle || []).push({}); </script> zh-cnWed, 04 Apr 2018 21:06:03 GMTWed, 04 Apr 2018 21:06:03 GMT60sqoop 从Oracle导入到hive 列的值带有回车换行导致HIVE表中记录增多http://www.blogjava.net/keweibo/articles/433144.htmlKeKeTue, 03 Apr 2018 10:01:00 GMThttp://www.blogjava.net/keweibo/articles/433144.htmlhttp://www.blogjava.net/keweibo/comments/433144.htmlhttp://www.blogjava.net/keweibo/articles/433144.html#Feedback0http://www.blogjava.net/keweibo/comments/commentRss/433144.htmlhttp://www.blogjava.net/keweibo/services/trackbacks/433144.html原文地址：http://blog.51cto.com/jackwxh/1917673

sqoop import --hive-import --hive-overwrite  --connect jdbc:oracle:thin:@192.168.92.136:1521:cyporcl --username ODS --password 'od154DS$!('  -m 1  --hive-database ODS --table Q_TRA_DISPUTESTATUS --fields-terminated-by '\001' --hive-drop-import-delims  --null-string '\\N' --null-non-string '\\N'  --map-column-java DISPUTERESULT=String

DISPUTERESULT 这个字段是Oracleclob 类型的，里面有回车， 加载到hive 里面导致 记录增多。


--map-column-java和--map-column-hive两个参数都要显示给出；还需要设置--hive-drop-import-delims这样才能顺利导出数据。

.导入的列有换行符如何解决
本以为万事大吉，万万没想到导入的列有nclob类型，里面存储了一篇篇文章，势必有着换行符。果不其然，hive查询数据全部错乱， 查询资料发现--hive-delims-replacement（替换/n,/r等符号用你指定的字符）和--hive-drop-import-delims参数。可添加上去发现并没有什么卵用，没有起作用。百度goole很久，终于发现一篇帖子，http://stackoverflow.com/questions/28076200/hive-drop-import-delims-not-removing-newline-while-using-hcatalog-in-sqoop
意思是要用--map-column-java参数来显示指定列为String类型。我的解决方案为 --map-column-java 我的CLOB列=String 果然，问题解决，换行符全部被去掉。不过听说改变存储格式 或许也可以避免这个问题，希望有着经验的大神来回答一下。总结下来就这么多，希望能帮助大家



Ke 2018-04-03 18:01 发表评论
]]>Sqoop&Hive，解决ERROR hive.HiveConfig: Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. http://www.blogjava.net/keweibo/articles/433143.htmlKeKeTue, 03 Apr 2018 08:56:00 GMThttp://www.blogjava.net/keweibo/articles/433143.htmlhttp://www.blogjava.net/keweibo/comments/433143.htmlhttp://www.blogjava.net/keweibo/articles/433143.html#Feedback0http://www.blogjava.net/keweibo/comments/commentRss/433143.htmlhttp://www.blogjava.net/keweibo/services/trackbacks/433143.html在 $SQOOP_HOME/lib目录下执行以下命令
ln -s  /app/soft/apache-hive-2.3.2-bin/lib/hive-exec-2.3.2.jar   hive-exec-2.3.2.jar


Ke 2018-04-03 16:56 发表评论
]]>时间列转化&&动态指定分区Insert数据http://www.blogjava.net/keweibo/articles/433141.htmlKeKeMon, 02 Apr 2018 08:47:00 GMThttp://www.blogjava.net/keweibo/articles/433141.htmlhttp://www.blogjava.net/keweibo/comments/433141.htmlhttp://www.blogjava.net/keweibo/articles/433141.html#Feedback0http://www.blogjava.net/keweibo/comments/commentRss/433141.htmlhttp://www.blogjava.net/keweibo/services/trackbacks/433141.html--然后再Insert表，动态指定分区

insert overwrite table partition_user_table partition (dt) select id, account, name, create_time,  from_unixtime(unix_timestamp(create_time,'yyyy/mm/dd'),'yyyymmdd') as dt from external_user_table;


Ke 2018-04-02 16:47 发表评论
]]>