其他技术区最新随笔(rss) RSS

简单工厂类

     摘要: 简单工厂  阅读全文

2017-09-15 22:14 作者: viery【评论:1】【阅读:29】 

Hadoop-2.4.1学习之QJM HA的自动故障转移

     摘要: 前面学习了使用命令hdfs haadmin -failover手动进行故障转移,在该模式下,即使现役NameNode已经失效,系统也不会自动从现役NameNode转移到待机NameNode,下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC)进程。ZooKeeper是维护少量协调数据,通知客户...  阅读全文

2017-08-13 18:49 作者: 鸿雁【评论:0】【阅读:87】 

豆瓣红心电台导出到QQ音乐

     摘要: 江湖谣传豆瓣电台快挂了?
赶紧分享自己私藏的一段代码, 导出豆瓣红心电台到QQ音乐用的, 现在也就QQ音乐版权最多了吧  阅读全文

2017-08-11 16:13 作者: ApolloDeng【评论:0】【阅读:123】 

来自身份不明开发者”? 或者文件已损坏,打不开.XX is damaged and can't be opened. You should move it to the Trash.

最近在MAC上安装软件,发现这个问题。
解决很简单。
进入系统与偏好设置-》安全与隐私-》在安全性与隐私界面的最下面有三个选项,
1.AppStore
2.AppStore和被认可的开发者
3.任何来源

注意,有的系统里没有任何来源选项,也就是说只有前两个选项。

这样的情况下,你需要在你的命令行里做一下操作。

进入终端命令行窗口,输入sudo spctl --master-disable
会提示你输入密码,输入完用户密码后即可完成操作。
然后再次进入系统与偏好设置-》安全性与隐私-》选择第三个任何来源即可。

2017-08-06 22:43 作者: 草原上的骆驼【评论:0】【阅读:41】 

Yarn 调度器Scheduler详解

     摘要: 理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景。为此,Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调度器可以...  阅读全文

2017-08-05 00:35 作者: 鸿雁【评论:0】【阅读:97】 

hive大数据倾斜总结

     摘要: 在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的执行是分阶段的,map处理数据量的差异取决于上一个stage的reduce输出,所以如何将数据均匀的...  阅读全文

2017-07-31 19:57 作者: 鸿雁【评论:0】【阅读:38】 

Hive性能调优

     摘要: Hive的一般学习者和培训者在谈性能优化的时候一般都会从语法和参数这些雕虫小技的角度谈优化,而不会革命性的优化Hive的性能,产生这种现象的原因有:1,历史原因和思维定势:大家学习SQL的时候一般都是就单机DB,这个时候你的性能优化技巧确实主要是SQL语法和参数调优;2,Hive的核心的性能问题往往是产生在超过规模数据集,例如说100亿条级别的数据集,以及每天处理上千上万个Hive作业的情况下产生...  阅读全文

2017-07-30 13:52 作者: 鸿雁【评论:0】【阅读:31】 

技 术 改 变 世 界

宣传语

网站分类

其他分类

Google站内搜索

 

24小时内最热随笔

统计信息

订阅

Blog客户端API

推荐客户端

博客排行榜[前100人]

友情链接