语源科技BlogJava-成都心情

Hadoop周刊—第 176 期

Rosen — Tue, 12 Jul 2016 13:21:00 GMT

Hadoop周刊第 176 期

启明星辰平台和大数据总体组编译

2016年6月29日

Hadoop峰会本周在圣何塞召开，所以很期待在下期周刊看到新项目的发布和精彩演讲（请向我们提供任何相关的幻灯片）。至于本期周刊，有大量关于Kafka Streams、从Amazon Kinesis向Google BigQuery传递流式数据、Google数据集搜索系统的文章。

技术新闻

Shine介绍了他们如何使用Amazon Lambda和Amazon Kinesis，以及为Apache web服务器提供的Kinesis代理（用于采日志），以及从EC2移动数据到Google BigQuery的内容。本文提供了Lambda函数（javascript编写）代码片段，规模和开销方面的信息，描述了如何通过gzip压缩数据从而优化传输开销。

https://blog.shinetech.com/2016/06/21/kinesis-lambda-bigquery/

Cloudera博客撰文介绍了如何通过Apache Spark、Apache Impala（孵化中）、Hue对梦之队数据进行分析。本文主要聚焦在分析上，附带了些Spark代码以及Hue的功能演示。

http://blog.cloudera.com/blog/2016/06/how-to-analyze-fantasy-sports-with-apache-spark-and-sql-part-2-data-exploration/

KDnuggets撰文介绍了13个和Apache Spark相关的主要API/项目/名词。包括RDD、DataFrame、Dataset、结构化流式计算、GraphX、Tungsten。每个条目都有一段章节介绍，足够很好的了解Spark主要特性了。

http://www.kdnuggets.com/2016/06/spark-key-terms-explained.html

本文来自Confluent博客，介绍了那些虽看起来简单却又不简单的Kafka Streams应用。例如用Kafka Streams编写结合用户点击流数据和用户位置数据的程序。后者存储在KTable中，KTable提供了类似带有数据库表主键的抽象（主键的最新值通过API暴露）。最后的程序倒是简单——只有几行代码。

http://www.confluent.io/blog/distributed-real-time-joins-and-aggregations-on-user-activity-events-using-kafka-streams

Cloudera博客撰文介绍了meinstadt.de构建在Apache Flume、Apache Spark Streaming、Apache Impala（孵化中）上的HTTP请求异常检测系统。实现代码放在了github上。

http://blog.cloudera.com/blog/2016/06/how-to-detect-and-report-web-traffic-anomalies-in-near-real-time/

AWS大数据博客有教程介绍了如何使用Apache Spark和Apache Zeppelin从Amazon EMR集群处理Amazon Kinesis流数据。本文包含了一些通过Zeppelin notebook运行SQL产生的数据可视化范例。

http://blogs.aws.amazon.com/bigdata/post/Tx3K805CZ8WFBRP/Analyze-Realtime-Data-from-Amazon-Kinesis-Streams-Using-Zeppelin-and-Spark-Strea

Apache Kudu（孵化中）接近1.0版发布了，将全面支持高可用性。本文介绍了这最后一块拼图“主复制”是如何实现的。晒了下JIRA上各种问题的跟进的情况，以及完成与剩余的测试。

http://kudu.apache.org/2016/06/24/multi-master-1-0-0.html

Google的所有数据平台拥有超过260亿的数据集，每天要添加和删除16亿的数据集路径。为了跟踪、查询、比较数据集，他们研发了Google Dataset Search（GOODS）。GOODS跟踪由API暴露的元数据，这些元数据被用于检索、监控等。

http://dl.acm.org/citation.cfm?id=2903730

其他新闻

SiliconAngle采访了Hortonworks CEO Rob Bearden。主题包括业界趋势、Hortonworks财务、Hortonworks的非Hadoop技术以及物联网。

http://siliconangle.com/blog/2016/06/24/hadoop-and-beyond-a-conversation-with-hortonworks-ceo-rob-bearden/

产品发布

Apache Sentry本周发布了1.7.0版，修复了bug，增加了新特性和其他方面的提升。本次发布把Hive授权框架升级到了第二版。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201606.mbox/%3CCAPOmu3sDqdzu9ntDSvkMaDRQnVfHrkGV5qhyh-ZRiMmwgMMvBA@mail.gmail.com%3E

基于Apache Cassandra 3.0构建的DataStax Enterprise 5.0，增加了对图数据、分层存储、Cassandra多实例的支持。本次发布也增加了诸如加密和基于角色访问控制的附加安全特性支持。

https://www.datastax.com/2016/06/introducing-datastax-enterprise-5-0

Driven，大数据应用性能监控系统发布了2.2版。本次发布的亮点是对Apache Spark的监控提供了支持。

http://www.driven.io/2016/06/driven-inc-delivering-hadoop-spark-performance-monitoring-announces-driven-2-2/

BlueData发布了他们为Amazon Web Services提供的EPIC企业大数据既服务产品。本产品通过简单的点击就能自动装载到基于Docker的Hadoop集群。

http://www.bluedata.com/blog/2016/06/big-data-as-a-service-on-prem-or-cloud-bdaas/

Apache Accumulo发布了1.7.2版。本次发布修复了write-ahead日志处理方式，优化了RFiles，以及性能上的小提升。

https://accumulo.apache.org/release_notes/1.7.2.html

Apache ZooKeeper的顶级SDK，Apache Curator发布了2.11.0和3.2.0版。

https://cwiki.apache.org/confluence/display/CURATOR/Releases#Releases-June23,2016,Releases2.11.0and3.2.0available

Apache Hive发布了2.1.0版。修复了大量bug和功能增强，包括对Hive的Live Longer和Prosper 改进和以及JDBC支持。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201606.mbox/%3C7194557D-CB5E-45B7-B905-82F27B7CB33F@apache.org%3E

活动

中国

7月2日上海BigData Streaming第三次见面会

Rosen 2016-07-12 21:21 发表评论

Hadoop周刊—第 175 期

Rosen — Fri, 01 Jul 2016 07:44:00 GMT

Hadoop周刊第 175 期

启明星辰平台和大数据总体组编译

2016年6月19日

Hadoop峰会已过去一周了，我们已看到有多个产品（项目）敲定了发布时间。所以在技术新闻部分，有关于Hadoop Kerberos认证的内容另外还有Salsify应用Avro的文章。在产品发布部分，包括Yandex新近开源的列式数据库在内的多个项目均有新版本发布。

技术新闻

OpenCore博客撰文示范了多种Hadoop Kerberos认证协议调试工具。尤其示范了如何使用UserGropuInformation的“main()”方法导出一些有用的调试信息。

http://www.opencore.com/blog/2016/5/user-name-handling-in-hadoop/

YARN系列文章的第四部分，Cloduera博客介绍了如何配置公平调度队列。尤其对资源约束设置、队列安置策略和抢占进行了详解。

http://blog.cloudera.com/blog/2016/06/untangling-apache-hadoop-yarn-part-4-fair-scheduler-queue-basics/

Salsify基于Apache Kafka构建了一个异步微服务架构，并采用Apache Avro进行数据序列化。该应用使用Ruby开发，他们创建了多个新工具使得Avro能和Ruby语言很好的配合。本文介绍了这些工具和它们的价值：avro-builder用于定义记录、基于postgres的模式注册表，avromatic则从avro schema生成模型。

http://blog.salsify.com/engineering/adventures-in-avro

Apache Drill可以动态推断模式，还支持多模式(但相互兼容)数据。这种组合使得一些有趣的用例得以实现，例如跨多个不同模式的json文件查询。MapR博客探究了这些特性并进行了示范。

https://www.mapr.com/blog/sql-query-mixed-schema-data-using-apache-drill

本教程展示了如何将Druid与Apache Kafka结合构建流式分析和可视化（借助Pivot，Druid的web UI）应用。

http://www.confluent.io/blog/building-a-streaming-analytics-stack-with-apache-kafka-and-druid

Apache Beam（孵化中）博客撰文介绍了他们在连接Apache Flink批处理集群方面的成果。Beam是一个开源SDK，最初来自于Google，用于暴露后端未知数据管道API。

http://beam.incubator.apache.org/blog/2016/06/13/flink-batch-runner-milestone.html

Cask Hydrator是一个通过UI界面采用拖拽方式构建数据管道的工具。本教程也演示了如何使用Hydrator把数据从MySQL导入到HDFS。

http://blog.cask.co/2016/06/bringing-relational-data-into-data-lakes/

Databricks撰文介绍了即将发布的Apache Spark 2.0中新的SQL子查询功能。有趣的是，本文以手册形式呈现，最直截了当的展现了代码和范例数据。

https://databricks.com/blog/2016/06/17/sql-subqueries-in-apache-spark-2-0.html

Apache Kudu（孵化中）博客撰写了在单集群节点使用Raft的文章，借此动态扩展到多主节点集群。

http://getkudu.io/2016/06/17/raft-consensus-single-node.html

其他新闻

本文指出Apache Spark社区如果不用心经营，可能会重走因碎片化导致Apache Hadoop生态系统混乱的老路。举例来说，最新版本的CDH和HDP支持不同版本的Spark。

https://techcrunch.com/2016/06/12/spark-fragmentation-undermines-community/

New Stack撰写了一篇关于Concord的文章，Concord是一个构建在Apache Mesos上新的流式处理框架（公开测试状态）。Concord使用C++开发，支持动态拓扑（无需停机实现管道的增加和减少）。

http://thenewstack.io/concord-leverages-mesos-high-performance-stream-processing/

随着Databricks社区版的正式发布，Databricks发布了使用Databricks编写Apache Spark应用程序系列教程的第一篇。

https://databricks.com/blog/2016/06/15/an-introduction-to-writing-apache-spark-applications-on-databricks.html

Hadoop圣何塞峰会于几周前召开，期间举行了题为“大数据行业中的女性”专场午宴。Hortonworks博客特意采访了午宴主持人Hortonworks CMO：Ingrid Burton。

http://hortonworks.com/blog/summer-hortonworks-part-2-wibd-assertive-innovative-take-risks/

产品发布

Apache SystemML（孵化中）最近发布了0.10.0版。SystemML是一个机器学习框架，由多个项目在背后支撑，包括Apache Spark和Apache Hadoop。本次发布包括新的Spark Matrix Block类型、支持深度学习、性能上的提升、新的KNN算法等等。

http://systemml.apache.org/0.10.0-incubating/release_notes.html

Apache Mahout，另一个机器学习框架发布了0.12.2版。本次发布向着集成Apache Zeppelin可视化和支持notebook的目标迈进了一步。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201606.mbox/%3CCAOtpBjgBAuQs5FiX5X_5A+Rd-A1fVz0R7SKttGe4cJuCLRiGww@mail.gmail.com%3E

Qubole宣布他们的HBase-as-a-Service已经在AWS上提供。它为长时运行集群提供了许多漂亮的特性。支持Hannibal和其它监控工具，集成了Apache Zeppelin，并能通过节点引导程序与OpenTSDB和Apache Phoenix配置。

https://www.qubole.com/blog/product/quboles-hbase-as-a-service-is-generally-available-on-aws/

Altiscale发布了Altiscale Insight Cloud实时版。本系统由Apache HBase和Spark Streaming支撑。

https://www.altiscale.com/blog/announcing-the-altiscale-insight-cloud-real-time-edition/

`hs2client`是一个为Apache Hive和Apache Impala（孵化中）提供的新C++库。除了支持C++，这个库还绑定了python，可以在pandas中把数据读到DataFrame。

http://blog.cloudera.com/blog/2016/06/announcing-hs2client-a-fast-new-c-python-thrift-client-for-impala-and-hive/

MapR在其发行版中支持了Apache Spark 2.0开发者预览版。

https://www.mapr.com/blog/spark-20-now-developer-preview-mode-mapr-platform

Apache Beam发布了其0.1.0孵化版，是本项目加入Apache孵化器以来首次发布。

http://beam.incubator.apache.org/beam/release/2016/06/15/first-release.html

Yandex开源了ClickHouse，一个列式分析数据库。本系统为横向和纵向扩展而生。支持复杂数据类型（例如数组）和近似查询。该团队还发布了与其它数据库相比的基准测试结果。

https://clickhouse.yandex/

活动

中国

Rosen 2016-07-01 15:44 发表评论

Hadoop周刊—第 174 期

Rosen — Tue, 28 Jun 2016 09:39:00 GMT

Hadoop周刊第 174 期

启明星辰平台和大数据总体组编译

2016年6月12日

Spark峰会本周在旧金山召开，正如所料，本期周刊有大量关于Apache Spark的新闻、公告和版本发布。除Spark外，本期还有Kafka、Cask、Ambari方面的文章。在产品发布部分，有一年来Apache Pig首次版本更新，还一个为分布式系统设计的简洁新工具Runway，最后是新版Apache Kudu（孵化中）。

技术新闻

Debezium是一个相对较新的项目，用于数据库和Apache Kafka topic行级改变数据捕获。当面支持MySQL、Zookeeper、Kafka，这是一篇在Docker、Kubernetes容器上配置Zookeeper, Kafka, MySQL的教程。

http://debezium.io/blog/2016/05/31/Debezium-on-Kubernetes/

有些人对Apache Kafka项目宣布采用另一种流式处理引擎感到惊讶，这就是Kafka Streams。Kafka Streams与其它系统存在显著的关键差异。本文很好的示范了这些不同点——abstraction、部署模型、支持基于状态的计算。

https://softwaremill.com/kafka-streams-how-does-it-fit-stream-landscape/

每个使用MapReduce、Spark或类似系统的人都会陷入难以调试、数据特征bug这些问题中。BigDebug是UCLA（加州大学洛杉矶分校）的研究项目/论文，旨在让开发人员通过工具发现单机问题：传入参数导致的崩溃，跟踪、断点、观察点、延迟报警等。该工具支持Apache Spark 1.2.1上。

https://blog.acolyer.org/2016/06/07/bigdebug-debugging-primitives-for-interactive-big-data-processing-in-spark/

Cask撰文介绍了在开源Cask Data Application Platform (CDAP)中运行Spark的文章。运行在CDAP的Spark程序通过访问Apache Tephra（孵化中）实现细粒度事务支持。这样，就能很容易利用快照隔离实现从一个表复制到另一个表的一致性。CDAP中的Spark也能访问Cask Tracker，Cask Tracker提供数据血缘信息（什么时候创建、使用等）。根据应用的不同，CDAP工具还能发挥更大价值。

http://blog.cask.co/2016/06/cdap-spark-prototype-to-production/

IBM Hadoop Dev博客撰写了从cURL调用Ambari REST API的教程。还示范了在vanilla和启用了kerberos的集群上建立会话，并为接下来的请求复用会话。

https://developer.ibm.com/hadoop/2016/06/07/ambari-rest-calls-for-kerberos-enabled-clusters/

Google云平台博客撰文介绍了如何调试运行在Google Dataflow上的Apache Beam（孵化中）任务。为了调试性能瓶颈，Dataflow有一些有用的统计数据和UI来帮助使用者深入每一个步骤。

https://cloud.google.com/blog/big-data/2016/06/understanding-timing-in-cloud-dataflow-pipelines

其他新闻

Transaction Processing Performance Council(TPC)发布了TPCx-BB基准测试，该基准测试为大数据系统设计。除了衡量SQL外，还可以对机器学习集群和分类问题进行测试。

http://www.datanami.com/2016/06/01/big-data-benchmark-gauges-hadoop-platforms/

伦敦Strata + Hadoop世界大会两周前已召开。演讲者的专题报告和幻灯片已发布到会议网站上。

http://conferences.oreilly.com/strata/hadoop-big-data-eu/public/schedule/proceedings

Splice Machine，Hadoop上的RDBMS构建者，宣布开源他们的软件。当前，他们正在寻找贡献者/导师/豪杰来提升开源后的效果。Splice Machine有不少有趣的特性，例如ACID事务，二级索引，引用完整性。

http://www.splicemachine.com/were_going_open_source/

Altiscale博客编辑了许多关于客户服务、情感分析、气候变化、智慧城市、bias等方面的大数据应用案例文章。还收集了一些大数据怀疑论者的文章。

https://www.altiscale.com/blog/big-data-news-health-and-public-safety-sentiment-analysis-fixing-education-2/

Spark峰会本周在旧金山召开。会议组织者Databricks概述了两天内的热点内容，链接了许多的演讲和专题报告。

https://databricks.com/blog/2016/06/08/another-record-setting-spark-summit.html

大数据即服务（BDaaS）公司Qubole，撰文介绍了他们的客户如何接受使用Spark。接受速度之快——一半多的客户现在开始用Spark。Qubole也支持Presto，他们也看到了类似的增长。

https://www.qubole.com/blog/big-data/spark-usage/

Twitter向Apache孵化器提交了他们的复制日志服务DistributedLog。

https://wiki.apache.org/incubator/DistributedLogProposal

Big Data Day LA于6月9日在西洛杉矶学院召开。这次活动是免费的（如果预先注册的话），演讲者来自于Confluent、Databricks、Yahoo、Netflix等。

http://www.bigdatadayla.com/

产品发布

Apache Spark发布了Spark 2.0预览版。发布声明中说道API和功能都尚未最终敲定。

https://spark.apache.org/news/spark-2.0.0-preview.html

JustOne构建并开源了Kafka-to-PostgreSQL连接器。本文介绍了该连接器的性能，详细描述了如何把消息转换为行，还描述了如何设定配置等。

http://www.confluent.io/blog/kafka-connect-sink-for-postgresql-from-justone-database

Salesforce开源了Runway，这是一个建模、仿真以及可视化分布式系统。在runway.system上有一个在线演示环境，演示了“too many bananas”模型，电梯系统和Raft一致性系统。

https://medium.com/salesforce-open-source/runway-intro-dc0d9578e248

Bloomberg最近开源了Presto Accumulo，面向Apache Accumulo的Presto连接器。在声明中，链接了11页的论文，比较了基于的Presto查询和基于Accumulo Java API查询的基准测试结果。

http://www.bloomberg.com/company/announcements/open-source-at-bloomberg-reducing-application-development-time-via-presto-accumulo/

微软Azure发布了基于Apache Spark 1.6.1 稳定版的Azure HDInsight。本次发布支持了面向Spark的Project Livy REST任务服务支持，集成了Azure数据湖存储（基于角色的访问控制），集成了IntelliJ，支持了Jupyter笔记本等。

https://azure.microsoft.com/en-us/blog/apache-spark-for-azure-hdinsight-now-generally-available/

LinkedIn开源了Photon ML，他们的大规模回归分析库。Photon构建在Spark之上并在LinkedIn的YARN上运行（过去基于MapReduce，似乎因为要提升性能才迁移）。

https://engineering.linkedin.com/blog/2016/06/open-sourcing-photon-ml

Hortonworks发布了Spark-HBase连接器的技术预览版。预览版原生支持Avro，支持运行安全集群，原生支持Spark Datasource API，并优化了分区修剪，列修剪，谓词下推。

http://hortonworks.com/blog/spark-hbase-dataframe-based-hbase-connector/

Databricks发布了Apache Spark平台的第一阶段安全特性。本阶段对集群ACL、SAML 2.0进行了支持，端对端的审计日志。

https://databricks.com/blog/2016/06/08/achieving-end-to-end-security-for-apache-spark-with-databricks.html

Apache ORC 1.1.0版发布了。本次发布完成了从基于Apache Hive的代码到基于Java的代码迁移，修正了C++时间戳处理程序，增加了Hadoop MapReduce连接器。

http://orc.apache.org/news/2016/06/10/ORC-1.1.0/

Apache Kudu发布了0.9.0版。增加了UPSERT命令，新的Spark数据源不会依赖MapReduce API，提升了Tablet Server写性能。

http://getkudu.io/2016/06/10/apache-kudu-0-9-0-released.html

Google云服务平台团队发布了支持Spark 2.0预览版的Google Cloud Dataproc。

https://cloud.google.com/blog/big-data/2016/06/google-cloud-dataproc-the-fast-easy-and-safe-way-to-try-spark-20-preview

Dory（Bruce的继承者）Kafka producer的守护进程，现在支持从UNIX domain sockets或本地TCP接收数据了。

http://mail-archives.apache.org/mod_mbox/kafka-users/201606.mbox/%3C1465683894.608424023@apps.rackspace.com%3E

Apache Pig 0.16.0版，一年来首次发布。坚定了对Tez的支持。

http://pig.apache.org/releases.html#8+June%2C+2016%3A+release+0.16.0+available

活动

中国

Spark Meetup (上海) – 周六, 6月18日

Rosen 2016-06-28 17:39 发表评论

Hadoop周刊—第 173 期

Rosen — Mon, 20 Jun 2016 01:47:00 GMT

Hadoop周刊第 173 期

启明星辰平台和大数据总体组编译

2016年6月5日

本周，Spark、NiFi、Netflix Meson、Storm方面只有少量内容。Spark峰会本周在旧金山召开，所以呢，下周肯定有不少内容。

技术新闻

Databricks博客介绍了Apache Spark 2.0的新特性——跨语言支持存储和加载机器学习模型。模型通过简单的API被存储和加载，模型的元数据与参数保存为JSON风格，模型的数据保存为Parquet风格。

https://databricks.com/blog/2016/05/31/apache-spark-2-0-preview-machine-learning-model-persistence.html

Meson是Netflix用于执行机器学习工作流的框架。它是Apache Hive、Spark、Mesos这些大数据技术之间的粘合剂。工作流使用DSL进行编写，Meson还提供了更加先进的流水线可视化UI。Netflix目前没开源Meson，但他们有这方面的计划。

http://techblog.netflix.com/2016/05/meson_31.html

IBM Hadoop Dev博客简要介绍和示范了HDFS归档存储能力。

https://developer.ibm.com/hadoop/2016/06/01/use-hdfs-archival-storage/

Apache Storm 1.0有了令人惊讶的新特性。本文关注了几个调试能力方面的增强：动态日志级别、统一日志搜索、事件抽样、集成jstack/heap dumps/java飞行记录器分析worker。

http://hortonworks.com/blog/whats-new-apache-storm-1-0-part-1-enhanced-debugging/

Cloudera博客撰文介绍了如何使用Apache Spark来探索性分析存储在CSV文件中的NBA历史统计数据。分析过程混合使用了Scala和SQL。

http://blog.cloudera.com/blog/2016/06/how-to-analyze-fantasy-sports-using-apache-spark-and-sql/

Apache NiFi作为一种通用工具受到了很多的关注。它为“基于流程的处理”而生，可能对很多人并不意味着什么，但NiFi支持标准的ETL，流式处理等。许多NiFi例子都示范了如何从Twitter firehose把数据移动到HDFS中，但本文聚焦在NiFi另外的特性上——示范了一些简单的从HTTP拉数据的过程。

http://hortonworks.com/blog/apache-nifi-not-scratch/

Amazon Redshift构建于PostgreSQL引擎上，所以你可以利用PostgreSQL的扩展功能让Redshift集群连接PostgresSQL实例。这样一来，诸如跨数据库连接、将Redshift的结果转换为JSON、在Postgres中创建Redshift数据视图、

数据库之间复制数据等有趣的应用都能实现。

http://blogs.aws.amazon.com/bigdata/post/Tx1GQ6WLEWVJ1OX/JOIN-Amazon-Redshift-AND-Amazon-RDS-PostgreSQL-WITH-dblink

其他发布

FeatherCast发布了超过100个ApacheCon北美峰会的相关录音。

http://feathercast.apache.org/tag/apacheconna2016/

InfoWorld介绍了Heron，Twitter才开源的Apache Storm兼容项目。本文介绍了两个项目在架构上的不同。主要指出了Heron起步于几个月前（Storm已发布），就是说Storm在特性上比Heron更有优势。

http://www.infoworld.com/article/3078134/analytics/had-it-with-apache-storm-heron-swoops-to-the-rescue.html

Databricks在edX上开了一门新课程，“Apache Spark入门”。课程从6月15日开始，一直持续两周。

launch-first-of-five-free-big-data-courses-on-apache-spark.html

产品发布

Amazon EMR发布了4.7.0版。本次发布支持了Apache Tez和Apache Phoenix，并内置了新版本的Apache HBase、Apache Mahout、Presto。另外，AWS大数据博客还指导了Phoenix如何上手。

http://aws.amazon.com/blogs/aws/amazon-emr-4-7-0-apache-tez-phoenix-updates-to-existing-apps/

http://blogs.aws.amazon.com/bigdata/post/Tx2ZF1NDQYDJFGT/Supercharge-SQL-on-Your-Data-in-Apache-HBase-with-Apache-Phoenix

Apache Hive本周发布了2.0.1版。从二月发布2.0.0以来，首次小版本发布。本次修复了60个bug。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CD37344A3.77A64%25sershe@apache.org%3E

活动

中国

无

Rosen 2016-06-20 09:47 发表评论

Hadoop周刊—第 172 期

Rosen — Wed, 08 Jun 2016 16:11:00 GMT

Hadoop周刊第 172 期

启明星辰平台和大数据总体组编译

2016年5月22日

本周主要关注流式计算—— Twitter和Cloudera介绍了他们新的流式计算框架，有文章介绍了Apache Flink的流式SQL，DataTorrent介绍了Apache Apex容错机制，还有Concord这样新的流式计算框架，另外还有Apache Kafka的0.10版。其他新闻方面，Apache孵化器有新动向——Apache TinkerPop和Apache Zeppelin孵化成为顶级项目，Tephra进入孵化器。除了上述内容，Apache Spark、Apache HBase、Apache Drill、Apache Ambari等也有新文章。

技术新闻

DataTorrent博客撰文介绍了Apache Apex在读写数据文件时的容错机制。Apex是专门处理流式数据的，流式计算有一些微妙但重要的细节需要考虑。例如使用HDFS输出时，HDFS的租约机制会引发问题。

https://www.datatorrent.com/blog/fault-tolerant-file-processing/

Databricks博客介绍了Spark 2.0中Tungsten代码生成引擎带来的性能提升。博文举例说明了由于虚拟函数的管理，更好地利用CPU寄存器和循环展开，所以代码生成引擎能更快的生成代码。除了Databricks的博文外，Morning Paper还谈到以上技术其实是受到VLDB论文的启发。

https://databricks.com/blog/2016/05/23/apache-spark-as-a-compiler-joining-a-billion-rows-per-second-on-a-laptop.html

https://blog.acolyer.org/2016/05/23/efficiently-compiling-efficient-query-plans-for-modern-hardware/

StreamScope是微软流式处理系统，是Morning Paper本周撰写的另一个流式计算文章。介绍了该系统的特征——吞吐量/集群大小、编程模型(SQL)、时间模型、语义学/保证，以及微软产品中的应用。

https://blog.acolyer.org/2016/05/24/streamscope-continuous-reliable-distributed-processing-of-big-data-streams/

Apache博客撰文介绍了HubSpot团队对Apache HBase的G1GC调优方面的经验。本文回顾HubSpot如何尝试和保障稳定性、如何保障99%的性能、如何缩短花在垃圾回收上的时间。该团队使用很多技巧，很好地决绝了错综复杂的GC算法。本文最后，还一步步示范了HBase的G1GC调优。

https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbase

LinkedIn撰文阐述了调试Kafka偏移量管理问题的诸多困难。本文聚焦了两个所谓"offset rewind"事件的症状，如何在监控过程中检测到这类事件，以及导致这两个事件的根本原因（及解决方案）。

https://engineering.linkedin.com/blog/2016/05/kafkaesque-days-at-linkedin--part-1

Databricks博客发布了使用Apache Spark进行基因变异分析系列文章的第三部分也是最后一篇。本文从准备（把文件转换到Parquet并加载进Spark RRD）到如何加载基因型数据再到运行kmeans聚类算法基于基因型特征预测地理种群。

https://databricks.com/blog/2016/05/24/predicting-geographic-population-using-genome-variants-and-k-means.html

许多批处理大数据生态系统已从自定义API回到SQL上，所以如果流式处理框架也发生了同样的变化，一定很有趣。本文，Apache Flink团队介绍他们计划支持流式SQL。Flink已经有了Table API，他们利用Apache Calcite提供了对SQL的支持。对于windowing，他们计划用Calcite的流式SQL扩展。最初对SQL的支持将在1.1.0版中体现，在1.2.0版加强。

http://flink.apache.org/news/2016/05/24/stream-sql.html

本文介绍了Apache Drill的XML插件。尽管还没有和Drill集成在一起，但它相当容易被编译成jar和配置对XML的支持。

https://www.mapr.com/blog/how-use-xml-plugin-apache-drill

Hortonworks博客简略介绍了Ambari监控度量系统的架构，最近加入了Grafana作为其前端仪表盘。该系统使用Apache Phoenix和Apache HBase作为存储支撑，所以是可以横向扩展的。

http://hortonworks.com/blog/hood-ambari-metrics-grafana/

这篇教程介绍了怎样在Amazon EMR上使用Spark SQL与Hue、Apache Zeppelin配合运行SQL查询存储在S3中跨制表符分割的数据。本文最后展示了如何从Spark向DynamoDB存储数据。

http://blogs.aws.amazon.com/bigdata/post/Tx2D93GZRHU3TES/Using-Spark-SQL-for-ETL

Heroku团队分享了他们使用最新版Apache Kafka的体验——才引入的timestamp字段（8字节）会导致一些反直觉的性能变化。

https://engineering.heroku.com/blogs/2016-05-27-apache-kafka-010-evaluating-performance-in-distributed-systems/

其他新闻

O'Reilly数据播客秀就Spark 2.0中结构化流式计算方面的问题采访了来自Databricks的Michael Armbrust。网站上的一篇文章选择引用了其中的话题—— Spark SQL、结构化流式计算的目标、端到端管道的保证、对在线处理运用Spark机器学习算法。

https://www.oreilly.com/ideas/structured-streaming-comes-to-apache-spark-2-0

本周两个大数据项目从Apache孵化器孵化完成——Apache TinkerPop和Apache Zeppelin。TinkerPop是图计算框架，Zeppelin是面向数据分析基于web的notebook。

https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces91

https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces92

Tephra，HBase的事务引擎进入了Apache孵化器。Tephra最初由Cask的团队创建，目前仅和Apache Phoenix进行了集成。

http://blog.cask.co/2016/05/tephra-a-transaction-engine-for-hbase-moves-to-apache-incubation/

TechRepublic撰文介绍了Concord.io，一个由C++开发的流式处理框架。旨在填补高性能流式计算市场的空缺。

http://www.techrepublic.com/article/could-concord-topple-apache-spark-from-its-big-data-throne/

产品发布

Apache Avro本周发布了1.8.1版。修复了超过20个bug和一些其它进步。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CCAO4re1nYMm79WQ2LUeODWjHmJ9EiYOF=mty6p2aiq-S_4R95iQ@mail.gmail.com%3E

Confluent发布了基于librdkafka开发的Kafka Python客户端。

https://pypi.python.org/pypi/confluent-kafka/0.9.1.1

伴随着新的Kafka 流式计算方式，Apache Kafka 0.10版发布了。新版本支持了机架感知和消息中的timestamp，提升了SASL和Kafka Connect等。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CCAPuboUuRyCRxDp5CLjv2yVM77SpYFF+HdnBeiiyeumYTJNpY4g@mail.gmail.com%3E

Confluent发布了基于Apache Kafka 0.10的Confluent Platform 3.0版。除了Kafka的核心特性，Confluent Platform还有一个商业组件为Kafka Connect提供配置工具和端到端流监控。

http://www.confluent.io/blog/announcing-apache-kafka-0.10-and-confluent-platform-3.0

Apache Kylin，大数据OLAP引擎，发布了1.5.2版。作为一次补丁级的发布，1.5.2有不少新特性/提升/bug修复，包括支持CDH 5.7和MapR。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CCA+LQBaTDxb4wVYVvtOC22gMbJ0p9cvhAWzEY_x2n1oNGvEDPSQ@mail.gmail.com%3E

Twitter开源了他们的流式处理系统Heron。Heron是Twitter用于替换Apache Storm的产品，发力点在性能、调试以及开发人员生产率。

https://blog.twitter.com/2016/open-sourcing-twitter-heron

Envelope是来自于Cloudera Labs的新项目，它提供了基于配置文件的流式ETL处理过程。构建在Spark streaming之上，Envelope最近正在研发面向Kafka和Kudu的连接器。

http://blog.cloudera.com/blog/2016/05/new-in-cloudera-labs-envelope-for-apache-spark-streaming/

活动

中国

Spark Meetup 4 (杭州) – 周日, 6月5日

http://www.meetup.com/Hangzhou-Apache-Spark-Meetup/events/231071384/

Rosen 2016-06-09 00:11 发表评论

Hadoop周刊—第 171 期

Rosen — Wed, 08 Jun 2016 08:42:00 GMT

Hadoop周刊第 171 期

启明星辰平台和大数据总体组编译

2016年5月22日

本周，包括LinkedIn新开源项目在内的几个项目都有版本发布。在技术新闻和其他新闻方面，多篇文章回顾了Apache: Big Data North America会议，另外有一组跨越多个不同数据系统分析纽约出租车数据的系列文章。

技术新闻

Databricks博客分析了Apache Spark中两种逼近算法。之一，“approxCountDistict”是用来评估不同值的数量；之二，“approxQuantile”用于生成逼近百分比。本文介绍了算法和可视化精度不同的残差。

https://databricks.com/blog/2016/05/19/approximate-algorithms-in-apache-spark-hyperloglog-and-quantiles.html

本教程描述了如何使用Apache Hadoop HDFS、Apache Solr、Hue存储、索引、查询DICOM格式的医学影像。文章贯穿了加载和获取数据的整个步骤。

http://blog.cloudera.com/blog/2016/05/how-to-process-and-index-medical-images-with-apache-hadoop-and-apache-solr/

MapR Streams是一个API兼容Apache Kafka的系统。本文在宏观上比较了MapR Streams和Kafka的异同。同时阐明了Kafka Streams怎样和MapR Streams扯上关系的。

https://www.mapr.com/blog/apache-kafka-and-mapr-streams-terms-techniques-and-new-designs

本文在我看来是最清晰介绍Paxos的文章之一，Paxos为分布式系统构建了一致性协议。本文用绘图计算机和分布式拍卖示范了这个协议。

http://ifeanyi.co/posts/understanding-consensus/

基于Apache: Big Data North America会议上的一篇演讲。Datanami窥探了即将发布的Apache Hadoop 3的新特性。包括，shell脚本重写、任务集本地优化、内存大小自动伸缩能力、支持HDFS erasure codings。本文着重在erasure codings上，文章密切关注了erasure codings在存储效率方面的提升（3x磁盘消耗降低到1.5x）。

http://www.datanami.com/2016/05/18/hadoop-3-poised-boost-storage-capacity-resilience-erasure-coding/

这篇演讲来自于PyData柏林会议，描述了Apache Arrow和Feather文件格式，探究了数据在跨语言/框架互操作性的工作机制。

http://www.slideshare.net/wesm/python-data-ecosystem-thoughts-on-building-for-the-future

发布了两个来自于不同会议与Apache Kafka有关的演讲视频。第一个讨论了Kafka的安全特性，第二个探索了Kafka如何跨系统共享数据。

https://www.oreilly.com/learning/securing-apache-kafka

https://www.infoq.com/presentations/event-streams-kafka

这篇博客集成了数篇利用Amazon Redshift、Google BigQuery、Postgres、Presto数据系统加载/查询纽约出租车数据的文章。除了原始基准测试，还详细介绍了如何处理故障、优化、比较替代方案（AWS的S3与HDFS比）。

http://tech.marksblogg.com/all-billion-nyc-taxi-rides-redshift.html

O'Reilly撰文介绍了通过Kafka、Flink、Elasticsearch、Kibana怎样实现kappa架构。文章概述了lambda和kappa架构，介绍了主要的架构组件，以及怎样设置使用贝叶斯模型发现新奇事物。

http://www.oreilly.com/ideas/applying-the-kappa-architecture-in-the-telco-industry

其他新闻

本文列举了最近在Apache: Big Data North America会议上提到的几个大数据生态系统项目。有不少是我们没纳入视线的内容。

http://www.datanami.com/2016/05/11/open-source-tour-de-force-apache-big-data-2016/

Pivotal博客有一篇关于大数据和敏捷开发有趣的文章。大数据系统往往停留在非敏捷的世界，例如在装载数据前需求要收集到位，模型要定义好。本文认为，没有在云环境中经过长期验证的话，要对这种方式进行约束（有限的能力和性能、竖井式数据等）。

https://blog.pivotal.io/big-data-pivotal/features/when-it-comes-to-big-data-cloud-and-agility-go-hand-in-hand

Databricks发布了他们记录的网络会议视频“Apache Spark MLlib: From Quick Start to Scikit-Learn”。除了视频内容，他们还在会议中解答了八个常见问题。

https://databricks.com/blog/2016/05/18/spark-mllib-from-quick-start-to-scikit-learn.html

Hortonworks博客回顾了Apache Storm的历史。2011年开源，2013年进入Apache孵化器，2014年成为顶级项目，今年初发布了1.0版。本文论述了每个里程碑的主要技术进步。

http://hortonworks.com/blog/brief-history-apache-storm/

HBaseCon本周在旧金山召开。这次会议，Apple、Yahoo、Facebook都有演讲材料。

http://hbasecon.com

MapR发图庆祝了过去一年中Apache Drill取得的成绩。一年中发布了7个版本，完成了多个里程碑。

https://www.mapr.com/blog/happy-anniversary-apache-drill-what-difference-year-makes

Datanami发布了在Apache: Big Data North America会议上，ASF总监Jim Jagielski和ODPi项目总监John Mertic的问答录，如大家所料，主要话题还是ASF和ODPi的关系。

http://www.datanami.com/2016/05/20/apache-foundation-keeps-eyes-wide-open-odpi/

产品发布

LinkedIn开源了Ambry，他们的ObjectStore分布式系统。Ambry代码已提交到github，这篇博文介绍了Ambry的服务承诺，设计目标，体系架构和接口。

https://engineering.linkedin.com/blog/2016/05/introducing-and-open-sourcing-ambry---linkedins-new-distributed-

由apache HAWQ（孵化中）驱动的Pivotal HDB 本周发布了2.0版，HDB为Hadoop提供了分析数据库。

https://blog.pivotal.io/big-data-pivotal/products/fail-fast-and-ask-more-questions-of-your-data-with-hdb-2-0

Apache Mahout本周发布了0.12.1版，Mahout是一个机器学习和数据挖掘系统。本次发布旨在推进Flink与Mahout的集成。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CCAOtpBjhshagyLN3Qnt0xRnc7YbnMVJjTS4piVXL7LiS2pQguXw@mail.gmail.com%3E

Apache Tajo发布了0.11.3版。Tajo是Hadoop的数据仓库。本次发布修正了5个bug。

http://tajo.apache.org/releases/0.11.3/announcement.html

MongoDB为Apache Spark发布了新的MongoDB Connector。除了对应Spark的Hadoop InputFormat shim外，该Connector还有其他特性。最后，还解释了MongoDB一些关键特性。

https://www.mongodb.com/blog/post/mongodb-connector-for-apache-spark-announcing-early-access-program-and-new-spark-training

http://rosslawley.co.uk/introducing-a-new=mongodb-spark-connector/

SyncSort发布了DMX-h v9，支持Kafka以及新的智能执行框架。

http://insidebigdata.com/2016/05/20/syncsorts-latest-innovations-simplify-integration-of-streaming-data-in-spark-kafka-and-hadoop-for-real-time-analytics/

活动

中国

无

Rosen 2016-06-08 16:42 发表评论