随笔 - 14  文章 - 77  trackbacks - 0
<2011年9月>
28293031123
45678910
11121314151617
18192021222324
2526272829301
2345678

常用链接

留言簿(5)

随笔分类

随笔档案

搜索

  •  

最新评论

阅读排行榜

评论排行榜

      9月9号和10号在北京参加了IT168主办的架构师大会,也很荣幸做了淘宝Java中间件之路的分享,分享的PPT已经在大会的官网放出了。这次两天的会议,跟新老朋友有了不少线下的交流和沟通,感觉不错。也听了好几个Session,有些没有听的,也是当时跟几个朋友在场外交流所致。
      下面总结一下自己听的几个Session
 
      余沛-自动化运维关系管理
           这里面提到了几个阶段,跟陈硕的blog里面讲的不同阶段的运维策略,理念上比较的类似。
           第一个阶段 几台---几十台  手工并且是模块儿的视角。也就是看到的只是单个的部署的产品等
           第二个阶段 几百台--几千台 这个阶段叫做纵向自动化,用机器的粒度看运维,不过运维还是后置服务,有一些脚本、工具等,不过可能比较多的还是在做安装、维护、救火等工作
           第三个阶段 几千台--上万台 运维和开发平行,看问题是按照服务的粒度,运维变成前置服务
           接着又着重介绍依赖管理的部分。包括了任务对任务的依赖,任务时间上的依赖,以及数据型的依赖等。
           应该说,总体来说比较系统的讲述了运维成长的过程。我们自己的机器数也不少了,运维方面的平台、工具还不是那么的完善,希望能够在明年年中之前,能够有比较大的改观。
 
       李瀚-百度贴吧的技术介绍
            这里面记录了一些关键点
            百度贴吧有上百亿的帖子,热门的帖子有上千万的回复,高峰是每秒的PV超过10万。那么在存储方面,做了不少事情。同时,对于快速开发、可用性、安全方面考虑的也很多。

            在WebSever上,用了异步和集群技术,静态文件的获取,可以跑满网卡,大于单机支撑5k-1w的qps,这个取决于单个文件的大小。

            采用Php开发框架,统一开发模式,在性能方面也做了优化。内部实行组件式开发,有公共库以及一些通用组件。

            在存储方面,分为了两块儿,一块儿是轻量级的存储,主要采用的是Mysql以及使用了cache技术。数据量小于1T,支撑几百qps-几k qps,加入cache解决浏览的性能问题。
            引入了分区,使用MQ来进行处理
          
            另外,使用KV存储视频文件,大概在P的量级。

            这个session,主要了解学习了baidu贴吧的一些相关技术架构,也了解了一下数据。

        洪涛-虎扑网的架构升级之路
            这哥们儿看上去非常爷们儿,讲话也比较逗。谈到了虎扑网从成立到现在的发展之路,这个是可以给到一些中小网站一些参考。在这个过程中,用到了一些开源软件,包括但不限于memcached、TT、Redis、RabbitMQ等。后面也会自建机房。这里面,他提到会用硬件负载均衡代替LVS,这个地方我不是很明白,当时也没有能抓住洪涛问下,后面有机会再请教下。

        陈炜-无状态运维管理
              这个家伙跟我住一个屋的,他要讲的东东在讲之前我就看了一下,应该说,他们真的构建了一个相对完善的监管控的系统,也许没有哪个部分的技术本身特别高深,但是能够运用技术,真正把那么多的机器和应用管理起来,能最终落地,我觉得还是非常不容易的。不过这厮还欠我一个东西没给我,明天上班找他要。

        段炼-Defeat Plubic DNS
              这里面首先讲到了使用Google DNS以及OpenDNS的问题,然后提到了如何去解决这些个问题。其中对于如何知道用户所在ISP以及使用的Local DNS,采用了不同的方式来处理。也提到了通过跳转、修改返回的HTML等方式来解决跨运营商访问的问题。在这个方面,自己之前确实没有太多经验,也没有考虑很多。不过说到底,这都是被天朝特色的ISP给搞的。sigh。

        白金-从流量统计、识别出发,看网络出口带宽优化
              这个演讲嘉宾的名字挺酷,他讲的东西很全面,也提到一些探测网络流量等信息的工具,不过这个部分,跟我现在关注的点不太贴合,就当扩充知识面了。

        陈尔冬-新浪的私有云平台
              这哥们儿真的很帅,讲的也很好,新浪的SAE和内部的私有云还是不错的,10月份他们会来杭州参加QConHangzhou,到时候再好好聊聊。
              我记录了一些数据
              私有云有4000+机器
                       每日100亿动态请求
                       每日200亿的数据库请求
                       总共运行了500个项目 
        马如悦-Hadoop@Baidu 
              一个非常实在憨厚的哥们儿,我也是记录了一些数据     
             目前Hadoop集群有1.5w node, 年底大概3-4w台, 明年会到达10w台
             整个集群input data/per day >10PB  google  1,20万机器,30PB
             Hadoop一共分了10个clusters
             最大的cluster 3000 nodes
             1.5亿文件+1.5亿块+2000个节点:重启花费40分钟
             baidu-hdfs2-arch 把namespace跟文件管理分开,上面的相当于 一个规则服务器
             针对不同的需求分来处理,比如throughtput 、realtime 等;追求不同,侧重点就要不同
        总体来说,IT168架构师大会,和QConBeijing以及将要举办的QConHangzhou还有Velocity China相比,我感觉整体质量稍微弱些。当然,这仅仅是从我个人的角度来说,从内心来说,希望IT168架构师大会越办越好,提供一个好的平台给技术人员交流、提高。




      
posted on 2011-09-18 21:23 曾宪杰_顶天 阅读(669) 评论(0)  编辑  收藏 所属分类: 杂谈

只有注册用户登录后才能发表评论。


网站导航: