其他技术区最新随笔(rss) RSS

Hadoop-2.4.1学习之QJM HA的自动故障转移

     摘要: 前面学习了使用命令hdfs haadmin -failover手动进行故障转移,在该模式下,即使现役NameNode已经失效,系统也不会自动从现役NameNode转移到待机NameNode,下面学习如何配置部署HA自动进行故障转移。自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC)进程。ZooKeeper是维护少量协调数据,通知客户...  阅读全文

2017-08-13 18:49 作者: 鸿雁【评论:0】【阅读:6】 

豆瓣红心电台导出到QQ音乐

     摘要: 江湖谣传豆瓣电台快挂了?
赶紧分享自己私藏的一段代码, 导出豆瓣红心电台到QQ音乐用的, 现在也就QQ音乐版权最多了吧  阅读全文

2017-08-11 16:13 作者: ApolloDeng【评论:0】【阅读:32】 

来自身份不明开发者”? 或者文件已损坏,打不开.XX is damaged and can't be opened. You should move it to the Trash.

最近在MAC上安装软件,发现这个问题。
解决很简单。
进入系统与偏好设置-》安全与隐私-》在安全性与隐私界面的最下面有三个选项,
1.AppStore
2.AppStore和被认可的开发者
3.任何来源

注意,有的系统里没有任何来源选项,也就是说只有前两个选项。

这样的情况下,你需要在你的命令行里做一下操作。

进入终端命令行窗口,输入sudo spctl --master-disable
会提示你输入密码,输入完用户密码后即可完成操作。
然后再次进入系统与偏好设置-》安全性与隐私-》选择第三个任何来源即可。

2017-08-06 22:43 作者: 草原上的骆驼【评论:0】【阅读:15】 

Yarn 调度器Scheduler详解

     摘要: 理想情况下,我们应用对Yarn资源的请求应该立刻得到满足,但现实情况资源往往是有限的,特别是在一个很繁忙的集群,一个应用资源的请求经常需要等待一段时间才能的到相应的资源。在Yarn中,负责给应用分配资源的就是Scheduler。其实调度本身就是一个难题,很难找到一个完美的策略可以解决所有的应用场景。为此,Yarn提供了多种调度器和可配置的策略供我们选择。一、调度器的选择在Yarn中有三种调度器可以...  阅读全文

2017-08-05 00:35 作者: 鸿雁【评论:0】【阅读:19】 

hive大数据倾斜总结

     摘要: 在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平均值,而由于数据倾斜的原因造成map处理数据量的差异过大,使得这些平均值能代表的价值降低。Hive的执行是分阶段的,map处理数据量的差异取决于上一个stage的reduce输出,所以如何将数据均匀的...  阅读全文

2017-07-31 19:57 作者: 鸿雁【评论:0】【阅读:18】 

Hive性能调优

     摘要: Hive的一般学习者和培训者在谈性能优化的时候一般都会从语法和参数这些雕虫小技的角度谈优化,而不会革命性的优化Hive的性能,产生这种现象的原因有:1,历史原因和思维定势:大家学习SQL的时候一般都是就单机DB,这个时候你的性能优化技巧确实主要是SQL语法和参数调优;2,Hive的核心的性能问题往往是产生在超过规模数据集,例如说100亿条级别的数据集,以及每天处理上千上万个Hive作业的情况下产生...  阅读全文

2017-07-30 13:52 作者: 鸿雁【评论:0】【阅读:22】 

HIVE和HBASE区别

     摘要: 1. 两者分别是什么?    Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言,这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能,但是Hive不能够进行交互查询--因为它只能够在Haoop上批量的执行Hadoop。  &nb...  阅读全文

2017-07-21 11:44 作者: 鸿雁【评论:0】【阅读:25】 

Hive分布式安装配置Hive+Mysql

     摘要: 目录 1,环境准备 2,安装Hive和配置环境变量 3,安装MySQL 4,在mysql上创建hive元数据库,并对hive进行授权 5,安装jar包到hive 6,配置hive-site.xml 7,元数据存储初始化 8,启动验证hive 9,报错及解决方法 1,环境准备: 准备好Hadoop集群,参照...  阅读全文

2017-07-20 15:20 作者: 鸿雁【评论:0】【阅读:27】 

TCP/UDP区别以及UDP如何实现可靠传输

     摘要: TCP和UDP是OSI模型中的运输层中的协议。TCP提供可靠的通信传输,而UDP则常被用于让广播和细节控制交给应用的通信传输。 UDP(User Datagram Protocol)         UDP不提供复杂的控制机制,利用IP提供面向无连接的通信服务。并且它是将应用程序发来的数据在收到的那一刻,立刻按照原样发送到网络上的一种机制。 &nb...  阅读全文

2017-07-19 22:25 作者: 鸿雁【评论:0】【阅读:31】 

一文读懂分布式数据库Hbase

     摘要: 一、 1、什么是Hbase。 是一个高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。 适合于存储非结构化数据,基于列的而不是基于行的模式 如图:Hadoop生态中hbase与其他部分的关系。 2、关系数据库已经流行很多年,并且hadoop已经有了HDFS和MapReduce,为什么需要HBase? Hadoop可以很好地解决大规模数据的离线批量处理问题,但是,受限于H...  阅读全文

2017-07-19 22:24 作者: 鸿雁【评论:0】【阅读:49】 

《精通Nginx(第2版)》出版了

     摘要: 本书内容简介:本书以模块化风格写成,几乎每一章都是一个独立的模块,读者将能够自由地在各个模块间切换阅读。全书分两部分,第一部分用9章内容介绍了安装Nginx及第三方模块、配置向导、使用mail模块、Nginx作为反向代理、Nginx Http服务器、Nginx的开发、在Nginx中集成Lua以及故障排除技巧;第二部分用4个附录的形式介绍了指令参考、Rewrite规则指南、Nginx社区以及Sola...  阅读全文

2017-07-19 16:27 作者: XiaoLi【评论:0】【阅读:68】 

技 术 改 变 世 界

宣传语

网站分类

其他分类

Google站内搜索

 

24小时内最热随笔

统计信息

订阅

Blog客户端API

推荐客户端

博客排行榜[前100人]

友情链接