Hadoop周刊 第 176 期

启明星辰平台和大数据总体组编译

2016年6月29日

Hadoop峰会本周在圣何塞召开，所以很期待在下期周刊看到新项目的发布和精彩演讲（请向我们提供任何相关的幻灯片）。至于本期周刊，有大量关于Kafka Streams、从Amazon Kinesis向Google BigQuery传递流式数据、Google数据集搜索系统的文章。

技术新闻

Shine介绍了他们如何使用Amazon Lambda和Amazon Kinesis，以及为Apache web服务器提供的Kinesis代理（用于采日志），以及从EC2移动数据到Google BigQuery的内容。本文提供了Lambda函数（javascript编写）代码片段，规模和开销方面的信息，描述了如何通过gzip压缩数据从而优化传输开销。

https://blog.shinetech.com/2016/06/21/kinesis-lambda-bigquery/

Cloudera博客撰文介绍了如何通过Apache Spark、Apache Impala（孵化中）、Hue对梦之队数据进行分析。本文主要聚焦在分析上，附带了些Spark代码以及Hue的功能演示。

http://blog.cloudera.com/blog/2016/06/how-to-analyze-fantasy-sports-with-apache-spark-and-sql-part-2-data-exploration/

KDnuggets撰文介绍了13个和Apache Spark相关的主要API/项目/名词。包括RDD、DataFrame、Dataset、结构化流式计算、GraphX、Tungsten。每个条目都有一段章节介绍，足够很好的了解Spark主要特性了。

http://www.kdnuggets.com/2016/06/spark-key-terms-explained.html

本文来自Confluent博客，介绍了那些虽看起来简单却又不简单的Kafka Streams应用。例如用Kafka Streams编写结合用户点击流数据和用户位置数据的程序。后者存储在KTable中，KTable提供了类似带有数据库表主键的抽象（主键的最新值通过API暴露）。最后的程序倒是简单——只有几行代码。

http://www.confluent.io/blog/distributed-real-time-joins-and-aggregations-on-user-activity-events-using-kafka-streams

Cloudera博客撰文介绍了meinstadt.de构建在Apache Flume、Apache Spark Streaming、Apache Impala（孵化中）上的HTTP请求异常检测系统。实现代码放在了github上。

http://blog.cloudera.com/blog/2016/06/how-to-detect-and-report-web-traffic-anomalies-in-near-real-time/

AWS大数据博客有教程介绍了如何使用Apache Spark和Apache Zeppelin从Amazon EMR集群处理Amazon Kinesis流数据。本文包含了一些通过Zeppelin notebook运行SQL产生的数据可视化范例。

http://blogs.aws.amazon.com/bigdata/post/Tx3K805CZ8WFBRP/Analyze-Realtime-Data-from-Amazon-Kinesis-Streams-Using-Zeppelin-and-Spark-Strea

Apache Kudu（孵化中）接近1.0版发布了，将全面支持高可用性。本文介绍了这最后一块拼图“主复制”是如何实现的。晒了下JIRA上各种问题的跟进的情况，以及完成与剩余的测试。

http://kudu.apache.org/2016/06/24/multi-master-1-0-0.html

Google的所有数据平台拥有超过260亿的数据集，每天要添加和删除16亿的数据集路径。为了跟踪、查询、比较数据集，他们研发了Google Dataset Search（GOODS）。GOODS跟踪由API暴露的元数据，这些元数据被用于检索、监控等。

http://dl.acm.org/citation.cfm?id=2903730

其他新闻

SiliconAngle采访了Hortonworks CEO Rob Bearden。主题包括业界趋势、Hortonworks财务、Hortonworks的非Hadoop技术以及物联网。

http://siliconangle.com/blog/2016/06/24/hadoop-and-beyond-a-conversation-with-hortonworks-ceo-rob-bearden/

产品发布

Apache Sentry本周发布了1.7.0版，修复了bug，增加了新特性和其他方面的提升。本次发布把Hive授权框架升级到了第二版。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201606.mbox/%3CCAPOmu3sDqdzu9ntDSvkMaDRQnVfHrkGV5qhyh-ZRiMmwgMMvBA@mail.gmail.com%3E

基于Apache Cassandra 3.0构建的DataStax Enterprise 5.0，增加了对图数据、分层存储、Cassandra多实例的支持。本次发布也增加了诸如加密和基于角色访问控制的附加安全特性支持。

https://www.datastax.com/2016/06/introducing-datastax-enterprise-5-0

Driven，大数据应用性能监控系统发布了2.2版。本次发布的亮点是对Apache Spark的监控提供了支持。

http://www.driven.io/2016/06/driven-inc-delivering-hadoop-spark-performance-monitoring-announces-driven-2-2/

BlueData发布了他们为Amazon Web Services提供的EPIC企业大数据既服务产品。本产品通过简单的点击就能自动装载到基于Docker的Hadoop集群。

http://www.bluedata.com/blog/2016/06/big-data-as-a-service-on-prem-or-cloud-bdaas/

Apache Accumulo发布了1.7.2版。本次发布修复了write-ahead日志处理方式，优化了RFiles，以及性能上的小提升。

https://accumulo.apache.org/release_notes/1.7.2.html

Apache ZooKeeper的顶级SDK，Apache Curator发布了2.11.0和3.2.0版。

https://cwiki.apache.org/confluence/display/CURATOR/Releases#Releases-June23,2016,Releases2.11.0and3.2.0available

Apache Hive发布了2.1.0版。修复了大量bug和功能增强，包括对Hive的Live Longer和Prosper 改进和以及JDBC支持。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201606.mbox/%3C7194557D-CB5E-45B7-B905-82F27B7CB33F@apache.org%3E

活动

中国

7月2日 上海BigData Streaming第三次见面会

Hadoop周刊 第 175 期

启明星辰平台和大数据总体组编译

2016年6月19日

Hadoop峰会已过去一周了，我们已看到有多个产品（项目）敲定了发布时间。所以在技术新闻部分，有关于Hadoop Kerberos认证的内容另外还有Salsify应用Avro的文章。在产品发布部分，包括Yandex新近开源的列式数据库在内的多个项目均有新版本发布。

技术新闻

OpenCore博客撰文示范了多种Hadoop Kerberos认证协议调试工具。尤其示范了如何使用UserGropuInformation的“main()”方法导出一些有用的调试信息。

http://www.opencore.com/blog/2016/5/user-name-handling-in-hadoop/

YARN系列文章的第四部分，Cloduera博客介绍了如何配置公平调度队列。尤其对资源约束设置、队列安置策略和抢占进行了详解。

http://blog.cloudera.com/blog/2016/06/untangling-apache-hadoop-yarn-part-4-fair-scheduler-queue-basics/

Salsify基于Apache Kafka构建了一个异步微服务架构，并采用Apache Avro进行数据序列化。该应用使用Ruby开发，他们创建了多个新工具使得Avro能和Ruby语言很好的配合。本文介绍了这些工具和它们的价值：avro-builder用于定义记录、基于postgres的模式注册表，avromatic则从avro schema生成模型。

http://blog.salsify.com/engineering/adventures-in-avro

Apache Drill可以动态推断模式，还支持多模式(但相互兼容)数据。这种组合使得一些有趣的用例得以实现，例如跨多个不同模式的json文件查询。MapR博客探究了这些特性并进行了示范。

https://www.mapr.com/blog/sql-query-mixed-schema-data-using-apache-drill

本教程展示了如何将Druid与Apache Kafka结合构建流式分析和可视化（借助Pivot，Druid的web UI）应用。

http://www.confluent.io/blog/building-a-streaming-analytics-stack-with-apache-kafka-and-druid

Apache Beam（孵化中）博客撰文介绍了他们在连接Apache Flink批处理集群方面的成果。Beam是一个开源SDK，最初来自于Google，用于暴露后端未知数据管道API。

http://beam.incubator.apache.org/blog/2016/06/13/flink-batch-runner-milestone.html

Cask Hydrator是一个通过UI界面采用拖拽方式构建数据管道的工具。本教程也演示了如何使用Hydrator把数据从MySQL导入到HDFS。

http://blog.cask.co/2016/06/bringing-relational-data-into-data-lakes/

Databricks撰文介绍了即将发布的Apache Spark 2.0中新的SQL子查询功能。有趣的是，本文以手册形式呈现，最直截了当的展现了代码和范例数据。

https://databricks.com/blog/2016/06/17/sql-subqueries-in-apache-spark-2-0.html

Apache Kudu（孵化中）博客撰写了在单集群节点使用Raft的文章，借此动态扩展到多主节点集群。

http://getkudu.io/2016/06/17/raft-consensus-single-node.html

其他新闻

本文指出Apache Spark社区如果不用心经营，可能会重走因碎片化导致Apache Hadoop生态系统混乱的老路。举例来说，最新版本的CDH和HDP支持不同版本的Spark。

https://techcrunch.com/2016/06/12/spark-fragmentation-undermines-community/

New Stack撰写了一篇关于Concord的文章，Concord是一个构建在Apache Mesos上新的流式处理框架（公开测试状态）。Concord使用C++开发，支持动态拓扑（无需停机实现管道的增加和减少）。

http://thenewstack.io/concord-leverages-mesos-high-performance-stream-processing/

随着Databricks社区版的正式发布，Databricks发布了使用Databricks编写Apache Spark应用程序系列教程的第一篇。

https://databricks.com/blog/2016/06/15/an-introduction-to-writing-apache-spark-applications-on-databricks.html

Hadoop圣何塞峰会于几周前召开，期间举行了题为“大数据行业中的女性”专场午宴。Hortonworks博客特意采访了午宴主持人Hortonworks CMO：Ingrid Burton。

http://hortonworks.com/blog/summer-hortonworks-part-2-wibd-assertive-innovative-take-risks/

产品发布

Apache SystemML（孵化中）最近发布了0.10.0版。SystemML是一个机器学习框架，由多个项目在背后支撑，包括Apache Spark和Apache Hadoop。本次发布包括新的Spark Matrix Block类型、支持深度学习、性能上的提升、新的KNN算法等等。

http://systemml.apache.org/0.10.0-incubating/release_notes.html

Apache Mahout，另一个机器学习框架发布了0.12.2版。本次发布向着集成Apache Zeppelin可视化和支持notebook的目标迈进了一步。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201606.mbox/%3CCAOtpBjgBAuQs5FiX5X_5A+Rd-A1fVz0R7SKttGe4cJuCLRiGww@mail.gmail.com%3E

Qubole宣布他们的HBase-as-a-Service已经在AWS上提供。它为长时运行集群提供了许多漂亮的特性。支持Hannibal和其它监控工具，集成了Apache Zeppelin，并能通过节点引导程序与OpenTSDB和Apache Phoenix配置。

https://www.qubole.com/blog/product/quboles-hbase-as-a-service-is-generally-available-on-aws/

Altiscale发布了Altiscale Insight Cloud实时版。本系统由Apache HBase和Spark Streaming支撑。

https://www.altiscale.com/blog/announcing-the-altiscale-insight-cloud-real-time-edition/

`hs2client`是一个为Apache Hive和Apache Impala（孵化中）提供的新C++库。除了支持C++，这个库还绑定了python，可以在pandas中把数据读到DataFrame。

http://blog.cloudera.com/blog/2016/06/announcing-hs2client-a-fast-new-c-python-thrift-client-for-impala-and-hive/

MapR在其发行版中支持了Apache Spark 2.0开发者预览版。

https://www.mapr.com/blog/spark-20-now-developer-preview-mode-mapr-platform

Apache Beam发布了其0.1.0孵化版，是本项目加入Apache孵化器以来首次发布。

http://beam.incubator.apache.org/beam/release/2016/06/15/first-release.html

Yandex开源了ClickHouse，一个列式分析数据库。本系统为横向和纵向扩展而生。支持复杂数据类型（例如数组）和近似查询。该团队还发布了与其它数据库相比的基准测试结果。

https://clickhouse.yandex/

活动

中国

Hadoop周刊 第 174 期

启明星辰平台和大数据总体组编译

2016年6月12日

Spark峰会本周在旧金山召开，正如所料，本期周刊有大量关于Apache Spark的新闻、公告和版本发布。除Spark外，本期还有Kafka、Cask、Ambari方面的文章。在产品发布部分，有一年来Apache Pig首次版本更新，还一个为分布式系统设计的简洁新工具Runway，最后是新版Apache Kudu（孵化中）。

技术新闻

Debezium是一个相对较新的项目，用于数据库和Apache Kafka topic行级改变数据捕获。当面支持MySQL、Zookeeper、Kafka，这是一篇在Docker、Kubernetes容器上配置Zookeeper, Kafka, MySQL的教程。

http://debezium.io/blog/2016/05/31/Debezium-on-Kubernetes/

有些人对Apache Kafka项目宣布采用另一种流式处理引擎感到惊讶，这就是Kafka Streams。Kafka Streams与其它系统存在显著的关键差异。本文很好的示范了这些不同点——abstraction、部署模型、支持基于状态的计算。

https://softwaremill.com/kafka-streams-how-does-it-fit-stream-landscape/

每个使用MapReduce、Spark或类似系统的人都会陷入难以调试、数据特征bug这些问题中。BigDebug是UCLA（加州大学洛杉矶分校）的研究项目/论文，旨在让开发人员通过工具发现单机问题：传入参数导致的崩溃，跟踪、断点、观察点、延迟报警等。该工具支持Apache Spark 1.2.1上。

https://blog.acolyer.org/2016/06/07/bigdebug-debugging-primitives-for-interactive-big-data-processing-in-spark/

Cask撰文介绍了在开源Cask Data Application Platform (CDAP)中运行Spark的文章。运行在CDAP的Spark程序通过访问Apache Tephra（孵化中）实现细粒度事务支持。这样，就能很容易利用快照隔离实现从一个表复制到另一个表的一致性。CDAP中的Spark也能访问Cask Tracker，Cask Tracker提供数据血缘信息（什么时候创建、使用等）。根据应用的不同，CDAP工具还能发挥更大价值。

http://blog.cask.co/2016/06/cdap-spark-prototype-to-production/

IBM Hadoop Dev博客撰写了从cURL调用Ambari REST API的教程。还示范了在vanilla和启用了kerberos的集群上建立会话，并为接下来的请求复用会话。

https://developer.ibm.com/hadoop/2016/06/07/ambari-rest-calls-for-kerberos-enabled-clusters/

Google云平台博客撰文介绍了如何调试运行在Google Dataflow上的Apache Beam（孵化中）任务。为了调试性能瓶颈，Dataflow有一些有用的统计数据和UI来帮助使用者深入每一个步骤。

https://cloud.google.com/blog/big-data/2016/06/understanding-timing-in-cloud-dataflow-pipelines

其他新闻

Transaction Processing Performance Council(TPC)发布了TPCx-BB基准测试，该基准测试为大数据系统设计。除了衡量SQL外，还可以对机器学习集群和分类问题进行测试。

http://www.datanami.com/2016/06/01/big-data-benchmark-gauges-hadoop-platforms/

伦敦Strata + Hadoop世界大会两周前已召开。演讲者的专题报告和幻灯片已发布到会议网站上。

http://conferences.oreilly.com/strata/hadoop-big-data-eu/public/schedule/proceedings

Splice Machine，Hadoop上的RDBMS构建者，宣布开源他们的软件。当前，他们正在寻找贡献者/导师/豪杰来提升开源后的效果。Splice Machine有不少有趣的特性，例如ACID事务，二级索引，引用完整性。

http://www.splicemachine.com/were_going_open_source/

Altiscale博客编辑了许多关于客户服务、情感分析、气候变化、智慧城市、bias等方面的大数据应用案例文章。还收集了一些大数据怀疑论者的文章。

https://www.altiscale.com/blog/big-data-news-health-and-public-safety-sentiment-analysis-fixing-education-2/

Spark峰会本周在旧金山召开。会议组织者Databricks概述了两天内的热点内容，链接了许多的演讲和专题报告。

https://databricks.com/blog/2016/06/08/another-record-setting-spark-summit.html

大数据即服务（BDaaS）公司Qubole，撰文介绍了他们的客户如何接受使用Spark。接受速度之快——一半多的客户现在开始用Spark。Qubole也支持Presto，他们也看到了类似的增长。

https://www.qubole.com/blog/big-data/spark-usage/

Twitter向Apache孵化器提交了他们的复制日志服务DistributedLog。

https://wiki.apache.org/incubator/DistributedLogProposal

Big Data Day LA于6月9日在西洛杉矶学院召开。这次活动是免费的（如果预先注册的话），演讲者来自于Confluent、Databricks、Yahoo、Netflix等。

http://www.bigdatadayla.com/

产品发布

Apache Spark发布了Spark 2.0预览版。发布声明中说道API和功能都尚未最终敲定。

https://spark.apache.org/news/spark-2.0.0-preview.html

JustOne构建并开源了Kafka-to-PostgreSQL连接器。本文介绍了该连接器的性能，详细描述了如何把消息转换为行，还描述了如何设定配置等。

http://www.confluent.io/blog/kafka-connect-sink-for-postgresql-from-justone-database

Salesforce开源了Runway，这是一个建模、仿真以及可视化分布式系统。在runway.system上有一个在线演示环境，演示了“too many bananas”模型，电梯系统和Raft一致性系统。

https://medium.com/salesforce-open-source/runway-intro-dc0d9578e248

Bloomberg最近开源了Presto Accumulo，面向Apache Accumulo的Presto连接器。在声明中，链接了11页的论文，比较了基于的Presto查询和基于Accumulo Java API查询的基准测试结果。

http://www.bloomberg.com/company/announcements/open-source-at-bloomberg-reducing-application-development-time-via-presto-accumulo/

微软Azure发布了基于Apache Spark 1.6.1 稳定版的Azure HDInsight。本次发布支持了面向Spark的Project Livy REST任务服务支持，集成了Azure数据湖存储（基于角色的访问控制），集成了IntelliJ，支持了Jupyter笔记本等。

https://azure.microsoft.com/en-us/blog/apache-spark-for-azure-hdinsight-now-generally-available/

LinkedIn开源了Photon ML，他们的大规模回归分析库。Photon构建在Spark之上并在LinkedIn的YARN上运行（过去基于MapReduce，似乎因为要提升性能才迁移）。

https://engineering.linkedin.com/blog/2016/06/open-sourcing-photon-ml

Hortonworks发布了Spark-HBase连接器的技术预览版。预览版原生支持Avro，支持运行安全集群，原生支持Spark Datasource API，并优化了分区修剪，列修剪，谓词下推。

http://hortonworks.com/blog/spark-hbase-dataframe-based-hbase-connector/

Databricks发布了Apache Spark平台的第一阶段安全特性。本阶段对集群ACL、SAML 2.0进行了支持，端对端的审计日志。

https://databricks.com/blog/2016/06/08/achieving-end-to-end-security-for-apache-spark-with-databricks.html

Apache ORC 1.1.0版发布了。本次发布完成了从基于Apache Hive的代码到基于Java的代码迁移，修正了C++时间戳处理程序，增加了Hadoop MapReduce连接器。

http://orc.apache.org/news/2016/06/10/ORC-1.1.0/

Apache Kudu发布了0.9.0版。增加了UPSERT命令，新的Spark数据源不会依赖MapReduce API，提升了Tablet Server写性能。

http://getkudu.io/2016/06/10/apache-kudu-0-9-0-released.html

Google云服务平台团队发布了支持Spark 2.0预览版的Google Cloud Dataproc。

https://cloud.google.com/blog/big-data/2016/06/google-cloud-dataproc-the-fast-easy-and-safe-way-to-try-spark-20-preview

Dory（Bruce的继承者）Kafka producer的守护进程，现在支持从UNIX domain sockets或本地TCP接收数据了。

http://mail-archives.apache.org/mod_mbox/kafka-users/201606.mbox/%3C1465683894.608424023@apps.rackspace.com%3E

Apache Pig 0.16.0版，一年来首次发布。坚定了对Tez的支持。

http://pig.apache.org/releases.html#8+June%2C+2016%3A+release+0.16.0+available

活动

中国

Spark Meetup (上海) – 周六, 6月18日

Hadoop周刊 第 173 期

启明星辰平台和大数据总体组编译

2016年6月5日

本周，Spark、NiFi、Netflix Meson、Storm方面只有少量内容。Spark峰会本周在旧金山召开，所以呢，下周肯定有不少内容。

技术新闻

Databricks博客介绍了Apache Spark 2.0的新特性——跨语言支持存储和加载机器学习模型。模型通过简单的API被存储和加载，模型的元数据与参数保存为JSON风格，模型的数据保存为Parquet风格。

https://databricks.com/blog/2016/05/31/apache-spark-2-0-preview-machine-learning-model-persistence.html

https://databricks.com/blog/2016/05/31/apache-spark-2-0-preview-machine-learning-model-persistence.html

Meson是Netflix用于执行机器学习工作流的框架。它是Apache Hive、Spark、Mesos这些大数据技术之间的粘合剂。工作流使用DSL进行编写，Meson还提供了更加先进的流水线可视化UI。Netflix目前没开源Meson，但他们有这方面的计划。

http://techblog.netflix.com/2016/05/meson_31.html

IBM Hadoop Dev博客简要介绍和示范了HDFS归档存储能力。

https://developer.ibm.com/hadoop/2016/06/01/use-hdfs-archival-storage/

Apache Storm 1.0有了令人惊讶的新特性。本文关注了几个调试能力方面的增强：动态日志级别、统一日志搜索、事件抽样、集成jstack/heap dumps/java飞行记录器分析worker。

http://hortonworks.com/blog/whats-new-apache-storm-1-0-part-1-enhanced-debugging/

Cloudera博客撰文介绍了如何使用Apache Spark来探索性分析存储在CSV文件中的NBA历史统计数据。分析过程混合使用了Scala和SQL。

http://blog.cloudera.com/blog/2016/06/how-to-analyze-fantasy-sports-using-apache-spark-and-sql/

Apache NiFi作为一种通用工具受到了很多的关注。它为“基于流程的处理”而生，可能对很多人并不意味着什么，但NiFi支持标准的ETL，流式处理等。许多NiFi例子都示范了如何从Twitter firehose把数据移动到HDFS中，但本文聚焦在NiFi另外的特性上——示范了一些简单的从HTTP拉数据的过程。

http://hortonworks.com/blog/apache-nifi-not-scratch/

Amazon Redshift构建于PostgreSQL引擎上，所以你可以利用PostgreSQL的扩展功能让Redshift集群连接PostgresSQL实例。这样一来，诸如跨数据库连接、将Redshift的结果转换为JSON、在Postgres中创建Redshift数据视图、

数据库之间复制数据等有趣的应用都能实现。

http://blogs.aws.amazon.com/bigdata/post/Tx1GQ6WLEWVJ1OX/JOIN-Amazon-Redshift-AND-Amazon-RDS-PostgreSQL-WITH-dblink

其他发布

FeatherCast发布了超过100个ApacheCon北美峰会的相关录音。

http://feathercast.apache.org/tag/apacheconna2016/

InfoWorld介绍了Heron，Twitter才开源的Apache Storm兼容项目。本文介绍了两个项目在架构上的不同。主要指出了Heron起步于几个月前（Storm已发布），就是说Storm在特性上比Heron更有优势。

http://www.infoworld.com/article/3078134/analytics/had-it-with-apache-storm-heron-swoops-to-the-rescue.html

Databricks在edX上开了一门新课程，“Apache Spark入门”。课程从6月15日开始，一直持续两周。

launch-first-of-five-free-big-data-courses-on-apache-spark.html

产品发布

Amazon EMR发布了4.7.0版。本次发布支持了Apache Tez和Apache Phoenix，并内置了新版本的Apache HBase、Apache Mahout、Presto。另外，AWS大数据博客还指导了Phoenix如何上手。

http://aws.amazon.com/blogs/aws/amazon-emr-4-7-0-apache-tez-phoenix-updates-to-existing-apps/

http://blogs.aws.amazon.com/bigdata/post/Tx2ZF1NDQYDJFGT/Supercharge-SQL-on-Your-Data-in-Apache-HBase-with-Apache-Phoenix

Apache Hive本周发布了2.0.1版。从二月发布2.0.0以来，首次小版本发布。本次修复了60个bug。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CD37344A3.77A64%25sershe@apache.org%3E

活动

中国

无

Hadoop周刊 第 172 期

启明星辰平台和大数据总体组编译

2016年5月22日

本周主要关注流式计算—— Twitter和Cloudera介绍了他们新的流式计算框架，有文章介绍了Apache Flink的流式SQL，DataTorrent介绍了Apache Apex容错机制，还有Concord这样新的流式计算框架，另外还有Apache Kafka的0.10版。其他新闻方面，Apache孵化器有新动向——Apache TinkerPop和Apache Zeppelin孵化成为顶级项目，Tephra进入孵化器。除了上述内容，Apache Spark、Apache HBase、Apache Drill、Apache Ambari等也有新文章。

技术新闻

DataTorrent博客撰文介绍了Apache Apex在读写数据文件时的容错机制。Apex是专门处理流式数据的，流式计算有一些微妙但重要的细节需要考虑。例如使用HDFS输出时，HDFS的租约机制会引发问题。

https://www.datatorrent.com/blog/fault-tolerant-file-processing/

Databricks博客介绍了Spark 2.0中Tungsten代码生成引擎带来的性能提升。博文举例说明了由于虚拟函数的管理，更好地利用CPU寄存器和循环展开，所以代码生成引擎能更快的生成代码。除了Databricks的博文外，Morning Paper还谈到以上技术其实是受到VLDB论文的启发。

https://databricks.com/blog/2016/05/23/apache-spark-as-a-compiler-joining-a-billion-rows-per-second-on-a-laptop.html

https://blog.acolyer.org/2016/05/23/efficiently-compiling-efficient-query-plans-for-modern-hardware/

StreamScope是微软流式处理系统，是Morning Paper本周撰写的另一个流式计算文章。介绍了该系统的特征——吞吐量/集群大小、编程模型(SQL)、时间模型、语义学/保证，以及微软产品中的应用。

https://blog.acolyer.org/2016/05/24/streamscope-continuous-reliable-distributed-processing-of-big-data-streams/

Apache博客撰文介绍了HubSpot团队对Apache HBase的G1GC调优方面的经验。本文回顾HubSpot如何尝试和保障稳定性、如何保障99%的性能、如何缩短花在垃圾回收上的时间。该团队使用很多技巧，很好地决绝了错综复杂的GC算法。本文最后，还一步步示范了HBase的G1GC调优。

https://blogs.apache.org/hbase/entry/tuning_g1gc_for_your_hbase

LinkedIn撰文阐述了调试Kafka偏移量管理问题的诸多困难。本文聚焦了两个所谓"offset rewind"事件的症状，如何在监控过程中检测到这类事件，以及导致这两个事件的根本原因（及解决方案）。

https://engineering.linkedin.com/blog/2016/05/kafkaesque-days-at-linkedin--part-1

Databricks博客发布了使用Apache Spark进行基因变异分析系列文章的第三部分也是最后一篇。本文从准备（把文件转换到Parquet并加载进Spark RRD）到如何加载基因型数据再到运行kmeans聚类算法基于基因型特征预测地理种群。

https://databricks.com/blog/2016/05/24/predicting-geographic-population-using-genome-variants-and-k-means.html

许多批处理大数据生态系统已从自定义API回到SQL上，所以如果流式处理框架也发生了同样的变化，一定很有趣。本文，Apache Flink团队介绍他们计划支持流式SQL。Flink已经有了Table API，他们利用Apache Calcite提供了对SQL的支持。对于windowing，他们计划用Calcite的流式SQL扩展。最初对SQL的支持将在1.1.0版中体现，在1.2.0版加强。

http://flink.apache.org/news/2016/05/24/stream-sql.html

本文介绍了Apache Drill的XML插件。尽管还没有和Drill集成在一起，但它相当容易被编译成jar和配置对XML的支持。

https://www.mapr.com/blog/how-use-xml-plugin-apache-drill

Hortonworks博客简略介绍了Ambari监控度量系统的架构，最近加入了Grafana作为其前端仪表盘。该系统使用Apache Phoenix和Apache HBase作为存储支撑，所以是可以横向扩展的。

http://hortonworks.com/blog/hood-ambari-metrics-grafana/

这篇教程介绍了怎样在Amazon EMR上使用Spark SQL与Hue、Apache Zeppelin配合运行SQL查询存储在S3中跨制表符分割的数据。本文最后展示了如何从Spark向DynamoDB存储数据。

http://blogs.aws.amazon.com/bigdata/post/Tx2D93GZRHU3TES/Using-Spark-SQL-for-ETL

Heroku团队分享了他们使用最新版Apache Kafka的体验——才引入的timestamp字段（8字节）会导致一些反直觉的性能变化。

https://engineering.heroku.com/blogs/2016-05-27-apache-kafka-010-evaluating-performance-in-distributed-systems/

其他新闻

O'Reilly数据播客秀就Spark 2.0中结构化流式计算方面的问题采访了来自Databricks的Michael Armbrust。网站上的一篇文章选择引用了其中的话题—— Spark SQL、结构化流式计算的目标、端到端管道的保证、对在线处理运用Spark机器学习算法。

https://www.oreilly.com/ideas/structured-streaming-comes-to-apache-spark-2-0

本周两个大数据项目从Apache孵化器孵化完成——Apache TinkerPop和Apache Zeppelin。TinkerPop是图计算框架，Zeppelin是面向数据分析基于web的notebook。

https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces91

https://blogs.apache.org/foundation/entry/the_apache_software_foundation_announces92

Tephra，HBase的事务引擎进入了Apache孵化器。Tephra最初由Cask的团队创建，目前仅和Apache Phoenix进行了集成。

http://blog.cask.co/2016/05/tephra-a-transaction-engine-for-hbase-moves-to-apache-incubation/

TechRepublic撰文介绍了Concord.io，一个由C++开发的流式处理框架。旨在填补高性能流式计算市场的空缺。

http://www.techrepublic.com/article/could-concord-topple-apache-spark-from-its-big-data-throne/

产品发布

Apache Avro本周发布了1.8.1版。修复了超过20个bug和一些其它进步。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CCAO4re1nYMm79WQ2LUeODWjHmJ9EiYOF=mty6p2aiq-S_4R95iQ@mail.gmail.com%3E

Confluent发布了基于librdkafka开发的Kafka Python客户端。

https://pypi.python.org/pypi/confluent-kafka/0.9.1.1

伴随着新的Kafka 流式计算方式，Apache Kafka 0.10版发布了。新版本支持了机架感知和消息中的timestamp，提升了SASL和Kafka Connect等。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CCAPuboUuRyCRxDp5CLjv2yVM77SpYFF+HdnBeiiyeumYTJNpY4g@mail.gmail.com%3E

Confluent发布了基于Apache Kafka 0.10的Confluent Platform 3.0版。除了Kafka的核心特性，Confluent Platform还有一个商业组件为Kafka Connect提供配置工具和端到端流监控。

http://www.confluent.io/blog/announcing-apache-kafka-0.10-and-confluent-platform-3.0

Apache Kylin，大数据OLAP引擎，发布了1.5.2版。作为一次补丁级的发布，1.5.2有不少新特性/提升/bug修复，包括支持CDH 5.7和MapR。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CCA+LQBaTDxb4wVYVvtOC22gMbJ0p9cvhAWzEY_x2n1oNGvEDPSQ@mail.gmail.com%3E

Twitter开源了他们的流式处理系统Heron。Heron是Twitter用于替换Apache Storm的产品，发力点在性能、调试以及开发人员生产率。

https://blog.twitter.com/2016/open-sourcing-twitter-heron

Envelope是来自于Cloudera Labs的新项目，它提供了基于配置文件的流式ETL处理过程。构建在Spark streaming之上，Envelope最近正在研发面向Kafka和Kudu的连接器。

http://blog.cloudera.com/blog/2016/05/new-in-cloudera-labs-envelope-for-apache-spark-streaming/

活动

中国

Spark Meetup 4 (杭州) – 周日, 6月5日

http://www.meetup.com/Hangzhou-Apache-Spark-Meetup/events/231071384/

Hadoop周刊 第 171 期

启明星辰平台和大数据总体组编译

2016年5月22日

本周，包括LinkedIn新开源项目在内的几个项目都有版本发布。在技术新闻和其他新闻方面，多篇文章回顾了Apache: Big Data North America会议，另外有一组跨越多个不同数据系统分析纽约出租车数据的系列文章。

技术新闻

Databricks博客分析了Apache Spark中两种逼近算法。之一，“approxCountDistict”是用来评估不同值的数量；之二，“approxQuantile”用于生成逼近百分比。本文介绍了算法和可视化精度不同的残差。

https://databricks.com/blog/2016/05/19/approximate-algorithms-in-apache-spark-hyperloglog-and-quantiles.html

本教程描述了如何使用Apache Hadoop HDFS、Apache Solr、Hue存储、索引、查询DICOM格式的医学影像。文章贯穿了加载和获取数据的整个步骤。

http://blog.cloudera.com/blog/2016/05/how-to-process-and-index-medical-images-with-apache-hadoop-and-apache-solr/

MapR Streams是一个API兼容Apache Kafka的系统。本文在宏观上比较了MapR Streams和Kafka的异同。同时阐明了Kafka Streams怎样和MapR Streams扯上关系的。

https://www.mapr.com/blog/apache-kafka-and-mapr-streams-terms-techniques-and-new-designs

本文在我看来是最清晰介绍Paxos的文章之一，Paxos为分布式系统构建了一致性协议。本文用绘图计算机和分布式拍卖示范了这个协议。

http://ifeanyi.co/posts/understanding-consensus/

基于Apache: Big Data North America会议上的一篇演讲。Datanami窥探了即将发布的Apache Hadoop 3的新特性。包括，shell脚本重写、任务集本地优化、内存大小自动伸缩能力、支持HDFS erasure codings。本文着重在erasure codings上，文章密切关注了erasure codings在存储效率方面的提升（3x磁盘消耗降低到1.5x）。

http://www.datanami.com/2016/05/18/hadoop-3-poised-boost-storage-capacity-resilience-erasure-coding/

这篇演讲来自于PyData柏林会议，描述了Apache Arrow和Feather文件格式，探究了数据在跨语言/框架互操作性的工作机制。

http://www.slideshare.net/wesm/python-data-ecosystem-thoughts-on-building-for-the-future

发布了两个来自于不同会议与Apache Kafka有关的演讲视频。第一个讨论了Kafka的安全特性，第二个探索了Kafka如何跨系统共享数据。

https://www.oreilly.com/learning/securing-apache-kafka

https://www.infoq.com/presentations/event-streams-kafka

这篇博客集成了数篇利用Amazon Redshift、Google BigQuery、Postgres、Presto数据系统加载/查询纽约出租车数据的文章。除了原始基准测试，还详细介绍了如何处理故障、优化、比较替代方案（AWS的S3与HDFS比）。

http://tech.marksblogg.com/all-billion-nyc-taxi-rides-redshift.html

O'Reilly撰文介绍了通过Kafka、Flink、Elasticsearch、Kibana怎样实现kappa架构。文章概述了lambda和kappa架构，介绍了主要的架构组件，以及怎样设置使用贝叶斯模型发现新奇事物。

http://www.oreilly.com/ideas/applying-the-kappa-architecture-in-the-telco-industry

其他新闻

本文列举了最近在Apache: Big Data North America会议上提到的几个大数据生态系统项目。有不少是我们没纳入视线的内容。

http://www.datanami.com/2016/05/11/open-source-tour-de-force-apache-big-data-2016/

Pivotal博客有一篇关于大数据和敏捷开发有趣的文章。大数据系统往往停留在非敏捷的世界，例如在装载数据前需求要收集到位，模型要定义好。本文认为，没有在云环境中经过长期验证的话，要对这种方式进行约束（有限的能力和性能、竖井式数据等）。

https://blog.pivotal.io/big-data-pivotal/features/when-it-comes-to-big-data-cloud-and-agility-go-hand-in-hand

Databricks发布了他们记录的网络会议视频“Apache Spark MLlib: From Quick Start to Scikit-Learn”。除了视频内容，他们还在会议中解答了八个常见问题。

https://databricks.com/blog/2016/05/18/spark-mllib-from-quick-start-to-scikit-learn.html

Hortonworks博客回顾了Apache Storm的历史。2011年开源，2013年进入Apache孵化器，2014年成为顶级项目，今年初发布了1.0版。本文论述了每个里程碑的主要技术进步。

http://hortonworks.com/blog/brief-history-apache-storm/

HBaseCon本周在旧金山召开。这次会议，Apple、Yahoo、Facebook都有演讲材料。

http://hbasecon.com

MapR发图庆祝了过去一年中Apache Drill取得的成绩。一年中发布了7个版本，完成了多个里程碑。

https://www.mapr.com/blog/happy-anniversary-apache-drill-what-difference-year-makes

Datanami发布了在Apache: Big Data North America会议上，ASF总监Jim Jagielski和ODPi项目总监John Mertic的问答录，如大家所料，主要话题还是ASF和ODPi的关系。

http://www.datanami.com/2016/05/20/apache-foundation-keeps-eyes-wide-open-odpi/

产品发布

LinkedIn开源了Ambry，他们的ObjectStore分布式系统。Ambry代码已提交到github，这篇博文介绍了Ambry的服务承诺，设计目标，体系架构和接口。

https://engineering.linkedin.com/blog/2016/05/introducing-and-open-sourcing-ambry---linkedins-new-distributed-

由apache HAWQ（孵化中）驱动的Pivotal HDB 本周发布了2.0版，HDB为Hadoop提供了分析数据库。

https://blog.pivotal.io/big-data-pivotal/products/fail-fast-and-ask-more-questions-of-your-data-with-hdb-2-0

Apache Mahout本周发布了0.12.1版，Mahout是一个机器学习和数据挖掘系统。本次发布旨在推进Flink与Mahout的集成。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201605.mbox/%3CCAOtpBjhshagyLN3Qnt0xRnc7YbnMVJjTS4piVXL7LiS2pQguXw@mail.gmail.com%3E

Apache Tajo发布了0.11.3版。Tajo是Hadoop的数据仓库。本次发布修正了5个bug。

http://tajo.apache.org/releases/0.11.3/announcement.html

MongoDB为Apache Spark发布了新的MongoDB Connector。除了对应Spark的Hadoop InputFormat shim外，该Connector还有其他特性。最后，还解释了MongoDB一些关键特性。

https://www.mongodb.com/blog/post/mongodb-connector-for-apache-spark-announcing-early-access-program-and-new-spark-training

http://rosslawley.co.uk/introducing-a-new=mongodb-spark-connector/

SyncSort发布了DMX-h v9，支持Kafka以及新的智能执行框架。

http://insidebigdata.com/2016/05/20/syncsorts-latest-innovations-simplify-integration-of-streaming-data-in-spark-kafka-and-hadoop-for-real-time-analytics/

活动

中国

无

Hadoop周刊 第 169 期

启明星辰平台和大数据整体组编译

2016年5月8日

本周内容短小精练。主题覆盖Apache Beam、MapR季度业绩、最近的Kafka峰会，以及来自Cloudera新开源的分布式单元测试框架。

技术新闻

Elastic分析了宕机事件的根源。错误配置ZooKeeper内存设置会引起过度的GC，这将从根本上导致ZooKeeper集群丢失。文章介绍了一些缓解策略，用来防止未来类似问题的发生。

https://www.elastic.co/blog/elastic-cloud-outage-april-2016

Cask博客简明扼要的归纳了最近Big Data Applications Meetup的花絮。首先出场的是Pachyderm，它基于Docker容器提供“数据Git”语义。第二个出场的是TubeMogul大数据平台，TubeMogul构建于Hadoop、Hive、Spark、Presto之上。

http://blog.cask.co/2016/05/pachyderm-and-tubemogul-share-their-big-data-application-platforms-and-experience/

Google、dataArtisans同时撰文介绍了Apache Beam（前生是Google Dataflow SDK）。Google的文章解释了为何开源和开发Beam的动机，dataArtisans的文章介绍他们对Beam模型的支持以及怎样考虑Flink和Beam API之间的关系。

https://cloud.google.com/blog/big-data/2016/05/why-apache-beam-a-google-perspective

http://data-artisans.com/why-apache-beam/

IBM Hadoop dev博客有个关于安装Python、Scala和为Jupyter notebook嵌入R内核的操作说明。同时，也说明了怎样连接Spark和通过SSL暴露notebook。

https://developer.ibm.com/hadoop/blog/2016/05/04/install-jupyter-notebook-spark/

本文介绍了Mongo Hadoop的连接函数是如何窜起Spark和MongoDB的。

https://x.ai/using-the-mongo-hadoop-connector-as-a-translation-layer-to-spark/

Qubole博客撰文比较了用于大数据分析的流行编程语言—Python、R和Scala。

http://www.qubole.com/blog/big-data/programming-language/

其他新闻

MapR宣布本季度他们授权下单创纪录的增长了99%，以及146%的美元净增长率。

https://www.mapr.com/company/press-releases/mapr-achieves-another-record-quarter-99-software-subscription-license-growth

本文描述了最近Google Cloud Dataflow和Apache Spark在Google Compute Engine上的基准测试表现。Dataflow胜过Spark2－5.7倍（一直以来，最好是在自己的环境下评估工作负载，而不是一味的信任基准测试）。本文还解释了一种“冷战”，通过它使每个使用大数据工具的人获益。

http://www.datanami.com/2016/05/02/dataflow-tops-spark-benchmark-test/

Confluent博客回顾了最近召开的Kafka峰会，包括编程挑战预选赛，主题演讲，分组会议等等。

http://www.confluent.io/blog/log-compaction-kafka-summit-edition-may-2016

福布斯介绍了美国运通在过去5年间采用大数据技术的历程。本文中，美国运通分享了一些技巧和学到的经验教训，例如采用新技术的困难（得到组织高层的认同是多么的重要），以及雇佣和留住工程师的挑战等等。

http://www.forbes.com/sites/ciocentral/2016/04/27/inside-american-express-big-data-journey/

产品发布

Cask发布了Cask Data Application Platform (CDAP)3.4版本。新版本增加了Cask Tracker，新的数据集成/审计/搜索系统，升级了Cask Hydrator的UI，增强了对Spark的支持等等。

http://blog.cask.co/2016/05/announcing-cdap-release-3-4-introducing-tracker-next-gen-hydrator-enhanced-spark-support-and-much-more/

Cloudera开源了“dist_tes”，并行执行单元测试的新工具。通过该工具，对Hadoop和Kudu项目进行单元测试，可以在数分钟而不是数小时内完成。该工具绑定了C++和Java，并在网站上演示了这些特性。

http://blog.cloudera.com/blog/2016/05/quality-assurance-at-cloudera-distributed-unit-testing/

Google宣布Google BigQuery和Drive可集成在一起，把输出保存到Google sheets。

http://techcrunch.com/2016/05/06/google-connects-bigquery-to-google-drive-and-sheets/

活动

中国

无

Hadoop周刊 第 168 期

启明星辰平台和大数据整体组编译

2016年5月1日

Kafka峰会本周在旧金山召开，不容置疑本周期刊将有大量的Kafka内容。除此以外，还有大量关于Impala性能、Kudu、Druid方面的文章。在其他新闻部分，Apache Apex成为了Apache的顶级项目，Qubole开源了其StreamX项目。

技术新闻

本文快速浏览了如何在可能或不可能创建新数据分区的情况下操作Spark RDD。尤其`mapValues`和`filter`会保存分区而`map`却不会。

https://medium.com/@corentinanjuna/apache-spark-rdd-partitioning-preservation-2187a93bc33e

本文介绍了如何使用Conda构建独立的Python环境（例如pandas插件），以便做为Spark job的一部分装载到集群节点。经过这样的处理，就能在没有python原生包被安装在主操作系统上的情况下运行PySpark job。这种方案同样适用于SparkR。

http://quasiben.github.io/blog/2016/4/15/conda-spark/

Datadog博客有三篇监控Kafka的系列文章。第一篇详细概括了broker、producer、consumers、ZooKeeper的关键度量指标。第二篇介绍了怎样在JConsole和其他工具上通过JMX查看指标，第三篇介绍了Datadog集成方面的知识。

https://www.datadoghq.com/blog/monitoring-kafka-performance-metrics/

Salesforce撰文介绍了Kafka在他们组织内的成长史。最初，他们借助Kafka驱动了操作指标分析功能，渐渐地成为一个驱动众多系统的大平台。Salesforce运用Kafka在多个数据中心运行，并使用MirrorMaker在集群间复制和聚合数据。

https://medium.com/salesforce-engineering/expanding-visibility-with-apache-kafka-e305b12c4aba#.5k7j921o3

Metamarkets博客有一篇关于优化大规模分布式系统的有趣博文。Druid，他们的分布式数据仓库，最近增加了一种"先进先出"的查询模式，并在重型负载大集群间进行了测试。根据他们的假设，推测任何可能发生和收集到有趣的的指标。

https://metamarkets.com/2016/impact-on-query-speed-from-forced-processing-ordering-in-druid/

Google Cloud Big Data博客撰文介绍了BigQuery的内部存储格式，容器，以及其它使得存储数据更有效率的优化措施。

https://cloud.google.com/blog/big-data/2016/04/inside-capacitor-bigquerys-next-generation-columnar-storage-format

Apache Kudu（孵化中）博客概述了最近使用YCSB工具对系统性能分析和调优的结果。

http://getkudu.io/2016/04/26/ycsb.html

Impala 2.5无论是TPC基准测试还是其它方面均有显著的性能提升。提升项包括运行时过滤器，LLVM代码生成器对`SORT`和`DECIMAL`的支持，更快的metadata-only查询，等等。

http://blog.cloudera.com/blog/2016/04/apache-impala-incubating-in-cdh-5-7-4x-faster-for-bi-workloads-on-apache-hadoop/

本文介绍了，为支持高可用性，如何对Hive Metastore配置MariaDB的。

https://developer.ibm.com/hadoop/blog/2016/04/26/bigsql-ha-configure-ha-hive-metastore-db-using-mariadb10-1/

Altiscale博客撰文介绍了寻找NodeGroup相关bug的过程（跟进三月的文章）。如果你因没找到Hadoop（或其他分布式系统）的bug根结而气馁，不要叹气。本文告诉你这的确困难，甚至需要程序员在销售Hadoop服务的企业干活才能搞定。

https://www.altiscale.com/blog/part-1-2-investigation-analysis-and-resolution-of-nodegroup-performance-issues-on-bare-metal-hardware-clusters/

Netflix现在运行了超过4000个Kafka broker，横跨36个集群。在云中运行Kafka需要一些权衡，团队平衡了开销和数据丢失（日数据丢失小于0.01%）。本文分享了团队在AWS中运行Kafka的经验，主要是一些典型问题，部署策略（小集群、隔离的zookeeper集群），集群级容错，支持AWS availability zones，Kafka UI可视化等等。

http://techblog.netflix.com/2016/04/kafka-inside-keystone-pipeline.html

Amazon大数据博客撰文介绍了如何从Amazon EMR加密数据存放在S3中。这种集成方式同时支持客户端和服务器端加密（借助于Amazon KMS）。

http://blogs.aws.amazon.com/bigdata/post/TxBQTAF 3X7VLEP/Process-Encrypted-Data-in-Amazon-EMR-with-Amazon-S3-and-AWS-KMS

TubeMogul介绍了他们大数据平台的历史，该平台每月支撑万亿次数据分析请求。该团队很早就运用Amazon EMR，导入了Storm实时处理技术，最终把大数据服务落在了Qubole上。

https://www.tubemogul.com/engineering/the-big-data-lifecycle-at-tubemogul/

Caffe，深度学习框架，与Spark进行了集成—CaffeOnSpark。MapR公司撰文介绍了如何在MapR YARN上运行，文章还包括了采用的性能优化手段。

https://www.mapr.com/blog/distributed-deep-learning-caffe-using-mapr-cluster

其他新闻

Apache Apex，大数据流式处理和批处理系统，现在成为了Apache软件基金会的顶级项目。Apex去年8月进入孵化器。

https://blogs.apache.org/foundation/entry/the_apache_ software_foundation_announces90

Heroku Kafka，是一个分支于Heroku的Kafka管理服务。最近接近发布beta版。

https://blog.heroku.com/archives/2016/4/26/announcing-heroku-kafka-early-access

MapR博客上的一篇文章强调为什么性别多样性是重要的，还提到了大数据论坛中的女性，本文旨在鼓励女性投身于这一领域。“大数据论坛中的女性”研讨会本周由MapR组织在圣何塞召开。

https://www.mapr.com/blog/case-women-big-data

产品发布

StreamX是一个来自Qubole的开源项目，它能从Kafka拷贝数据到Amazon S3这样的目标存储中。Qubole把StreamX作为一种管理服务提供。

http://www.qubole.com/blog/big-data/streamx/

SnappyData是一个为OLAP和OLTP查询流式数据的新平台（和公司）。SnappyData由Apache Spark和GemFire的内存存储技术驱动。

http://www.infoworld.com/article/3062022/sql/apache-spark-powers-live-sql-analytics-in-snappydata.html

http://www.snappydata.io/

Apache Geode（孵化中）发布了1.0.0-incubating.M2版本，它是一个分布式数据平台，瞄准高性能和低延迟。新版本提供了广域网下的点对点连接等新特性。

http://mail-archives.apache.org/mod_mbox/incubator-geode-dev/201604.mbox/%3CCAFh%2B7k2eiK2TMGK sLqrY9CZDjxjYwiuTQ4QGUVC2s3geyJYwnA% 40mail.gmail.com%3E

Apache Knox发布了0.9.0版，它是Hadoop的REST API网关。新版本为Ranger和Ambari提供了UI界面支持，以及一些其它的提升和bug修复。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201604.mbox/%3CCACRbFyjRF7zShb-NQ29d3FJ0hKZ57ts0Qfo31ffuNODpskwqPQ @mail.gmail.com%3E

活动

中国

无

欢迎来到Hadoop周刊周一特别版。本周有大量来自Spark、Kafka、Beam、Kudu的技术新闻。如果你正在寻找一些更前沿的技术，Apache Metron（孵化中）发布了它们第一个版本。Metron，是一个构建在Hadoop上正在不断发展的通用安全系统。

技术新闻

本文介绍了如何在AWS上构建流式处理系统。包括了诸如Amazon Kinesis 、AWS Lambda、Kineses S3 connector之类简单的搭配方案，也介绍了AWS实现实时分析场景这样相对复杂点的方案。

http://cdn.oreillystatic.com/en/assets/1/event/144/Building%20a%20scalable%20architecture%20for%20processing%20streaming%20data%20on%20AWS%20Presentation.pdf

本文介绍了怎样使用Spark Testing Base。Spark Testing Base是一个用Scala编写，通过Java调用的Spark测试框架。本文的样例代码展示了如何隔离测试逻辑重构Spark代码，同时还通过Java处理了一些臃肿的Scala API。

http://www.jesse-anderson.com/2016/04/unit-testing-spark-with-java/

Altiscale博客概述了在Spark环境下，构建thin和uber jar包的优劣。示范了在Maven和SBT分别构建两种包的情况。

https://www.altiscale.com/blog/spark-on-hadoop-thin-jars/

LinkedIn介绍了他们的Kafka生态系统，生态系统包含一个特殊的Kafka producer，一个为非Java客户端提供的REST API，一个avro模式注册表，以及Gobblin（装载数据到Hadoop的工具）等等。

https://engineering.linkedin.com/blog/2016/04/kafka-ecosystem-at-linkedin

该Spark Streaming教程介绍了怎样通过twitter4j API拉推文，基于标签过滤，对推文进行情感分析。

https://www.mapr.com/blog/spark-streaming-and-twitter-sentiment-analysis

Apache Kudu（孵化中）是Apache Impala（孵化中）的绝佳伴侣，因为它能高效地解决广泛的分析和有针对性的查询。本文描述了两者集成的技术细节，例如Kudu的设计如何保证高效地查询能力，如何通过Impala和Kudu执行写／更新／删除操作等等。

http://blog.cloudera.com/blog/2016/04/how-to-use-impala-and-kudu-together-for-analytic-workloads/

MapR撰文介绍了使用spark-sklearn扩展一个已存在的scikit-learn模型。文章介绍了如何透过Airbnb数据集内部建模，还介绍了如何傍着spark-sklearn进行交叉验证。

https://www.mapr.com/blog/predicting-airbnb-listing-prices-scikit-learn-and-apache-spark

AWS大数据博客写了个如何在Amazon EMR中使用HBase和Hive的教程。本教程介绍了HBase，描述了如何在S3中恢复HBase表，示范了Hive和HBase如何集成等等。

http://blogs.aws.amazon.com/bigdata/post/Tx3EGE8Z90LZ9WX/Combine-NoSQL-and-Massively-Parallel-Analytics-Using-Apache-HBase-and-Apache-Hiv

本文描述了为学生在大数据课程上提供实战经验的挑战。作者经历若干次的迭代和选择似乎有了一个好方案— Altiscale的Hadoop-as-a-Service。

https://www.altiscale.com/blog/hadoop-as-a-service-in-the-classroom/

Cloudera博客的一篇客做文章，作者比较了Parquet和Avro在跨两个数据集的不同处理方式（一个数据集窄(3列)、一个数据集宽(103列)）。在用Spark和Spark SQL测试查询／操作后，作者发现Parquet和Avro在查询序列化数据方面有时表现很类似，尽管在大多数情况下查询Parquet数据的时候更快点（序列化数据更小）。

http://blog.cloudera.com/blog/2016/04/benchmarking-apache-parquet-the-allstate-experience/

本文介绍了如何在CDH这样的分布式环境中使用SparkR，尽管SparkR官方还没有支持这种方式。借助YARN在worker本地安装R语言包，job稍加改造就能执行了。

http://www.nodalpoint.com/sparkr-in-cloudera-hadoop/

很多开源框架都能执行MapReduce以及借助更高级的编程模型完成类似的工作。纵观过去，它们依赖独立运行的框架（例如MapReduce, Storm），但是最近的某些变化使得这一切充满了变数。Apache Beam（孵化中）更进一步地跨越了批处理、流式处理两种执行模式，内置更加复杂的计算模型。

http://www.datanami.com/2016/04/22/apache-beam-emerges-ambitious-goal-unify-big-data-development/

Apache博客发布了HBase在HDD、SSD以及RAMDISK上的写入性能测试比对的7篇系列文章。通过这一分析，作者发现并提议在HBase和HDFS上实现一些未覆盖的功能。

https://blogs.apache.org/hbase/entry/hdfs_hsm_and_hbase_part

其他新闻

Tom White，“Hadoop权威指南”的作者撰文介绍他是如何步入Apache Hadoop殿堂的。他的早期贡献是绕着Hadoop与Amazon Web Services集成展开，而今AWS已成为Hadoop项目成功的重要部分。

http://vision.cloudera.com/how-i-got-into-hadoop/

Fluo，为Apache Accumulo准备的分布式处理引擎，向Apache孵化器提交了孵化申请。

https://wiki.apache.org/incubator/FluoProposal

Apache Phoenix宣布将在HBaseCon后举行会议，Apache Phoenix是一个SQL-on-HBase系统。该会议只有半天，主题是介绍Phoenix内部情况和用例。

http://hortonworks.com/blog/announcing-first-annual-phoenixcon-apache-phoenix-user-conference/

产品发布

Apache Metron，构建于Hadoop上的安全框架，发布了0.1版。Hortonworks支撑其作为技术预览版，并撰写本文介绍了如何上手，如何贡献，如何使用Metron UI等等。

http://hortonworks.com/blog/apache-metron-tech-preview-1-come-get/

http://hortonworks.com/blog/apache-metron-use-case-finding-needle-haystack/

Apache NiFi本周发布了0.6.1版。这是修复了10多个bug后的修复版。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201604.mbox/%3CCALJK9a7yLnFeJ7Z=eU6mOB-DXvo8MHUr=_RshSjZcTbTcAHDZA@mail.gmail.com%3E

Apache Flink本周发布了1.0.2版。本次发布包括了bug修复，RocksDB环境下的性能提升以及一些文档方面的进步。

http://flink.apache.org/news/2016/04/22/release-1.0.2.html

Amazon发布了新版Amazon EMR，开始支持HBase 1.2。

https://aws.amazon.com/blogs/aws/amazon-emr-update-apache-hbase-1-2-is-now-available/

活动

中国

无

2016年4月17日

启明星辰——平台和大数据整体组编译 

Hortonworks在本周Hadoop欧洲峰会上有若干爆料，贯穿了本期整个内容。伴随着骄人的新特性，Apache Storm发布了1.0.0版。在技术新闻方面，有不少基于Kafka构建大规模服务和分布式系统测试的文章。如果你错过了Hadoop峰会，那么不用担心，演讲视频已经放到了网上。

技术新闻

Smyte撰文介绍了他们基于事件数据流实时检测垃圾邮件和诈骗信息的基础设施。最初的事件处理系统构建在Kafka、Redis、Secor以及S3上，为了满足规模不断扩张和廉价的要求，他们把系统迁移到基于磁盘的方案上，使用Redis协议与RocksDB交互，使用Kafka进行复制。

https://medium.com/the-smyte-blog/counting-with-domain-specific-databases-73c660472da

本文把rsyslog、Kafka、AWS 与ELK栈（ElasticSearch、Logstash、Kibana）结合，处理诸如反压、规模以及维护方面的问题。本文覆盖了rsyslog集成Kafka以及schema方面的技巧，也介绍了如何运行Kafka、Zookeeper以及AWS中大规模自动分组。

https://www.bashton.com/blog/2016/elk-on-ark/

Hortonworks撰文介绍了Apache Atlas以及Apache Range将要引入的数据管理特性。这些特性是：分类访问控制、数据有效期策略、位置特性策略、禁止数据集组合、跨组件家族（例如从Kafka到Storm再到Hive的数据跟踪）。

http://hortonworks.com/blog/the-next-generation-of-hadoop-based-security-data-governance/

Apache HAWQ （孵化中）是一个基于Greenplum在HDFS上提供数据查询的SQL引擎。本文讨论了其典型设计以及新版本的诸多改进。包括它与Spark和MapReduce的区别，还有些Hadoop挑战经典MPP设计的内容，以及HAWQ的新设计怎样结合MPP和批处理技术进而使其两者兼顾。

https://blog.pivotal.io/big-data-pivotal/products/apache-hawq-next-step-in-massively-parallel-processing

Cloudera博客撰文介绍了对Hadoop分布式系统进行故障注入、组网的测试工具AgenTEST。它能注入网络故障（例如丢包），资源满载（例如CPU、IO、磁盘空间）等等。当测试网络分区时，可以评估环形组网、桥接组网等等。

http://blog.cloudera.com/blog/2016/04/quality-assurance-at-cloudera-fault-injection-and-elastic-partitioning/

Hortonworks博客展望了将包含新版本Spark和Zeppelin的HDP 2.4.2。Spark2.0预览版和Zeppelin新特性都将包含在内。

http://hortonworks.com/blog/apache-spark-apache-zeppelin-whats-coming-in-hdp-2-4-2/

Cask撰文介绍了在Hbase region compaction这样罕见事件发生的前后，他们是怎样通过长时间测试以评估分布式系统正确性的。

http://blog.cask.co/2016/04/long-running-tests-in-cdap/

本文介绍了如何结合SparkR与亚马逊EMR进行地理空间分析的。通过SparkR的Hive集成组件，可以立刻基于S3上的数据映射Hive外部表。从这开始，数据就能直接加载到内存中使用R语言分析，很容易实现高质量的数据可视化。

http://blogs.aws.amazon.com/bigdata/post/Tx1MECZ47VAV84F/Exploring-Geospatial-Intelligence-using-SparkR-on-Amazon-EMR

MapR编写了使用Pig和Hive分析职业棒球大联盟球队水平的教程。Pig用于数据初加工，Hive提供基于SQL的数据查询环境。借助Hive ODBC驱动和Hive服务器，使得微软Excel也能用于获取和分析数据。

https://www.mapr.com/blog/using-hive-and-pig-baseball-statistics

SignalFX通过27节点的Kafka集群每天处理700多亿条消息。只有基于他们积累的大规模Kafka使用经验才能有如此高的量，因此他们共享了不少调试Kafka的技巧，定位告警（例如日志刷新延迟增加），以及Kafka横向扩展。

http://www.confluent.io/blog/how-we-monitor-and-run-kafka-at-scale-signalfx

dataArtisan's博客为了度量Flink在数据流效率、低延迟、正确性上的能力，专门写了这篇文章。为了证明效率，在高吞吐量的环境下运行了最新的Yahoo!流式基准测试程序。在正确性方面，文章突出了Flink事件判别和处理事件（星球大战电影年表做类比）方面的优势。最后，文章描述了Flink未来版本基于内存的查询任务。

http://data-artisans.com/counting-in-streams-a-hierarchy-of-needs/

本教程介绍了怎样把TCP Socket中的文本数据流转换为Spark流式数据源。

https://medium.com/@anicolaspp/spark-custom-streaming-sources-e7d52da72e80

本文介绍了在构建Hadoop的时候怎样防止AWS证书意外提交到补丁或git资源库。除Hadoop本身外，本文还建议使用“git-secrets”工具防止意外提交访问/安全密钥。如果你用的是Hadoop S3，还推荐了新补丁供评估。

http://steveloughran.blogspot.co.uk/2016/04/testing-against-s3-and-object-stores.html

Big Data & Brews采访了MapR的Ted Dunning和Jacques Nadeau。Apache Arrow也在本次采访范围内。

https://www.youtube.com/watch?v=l3mDDKjDjMk

https://www.youtube.com/watch?v=Xo9CO0a0VJI

其他新闻

DataEngConf最近在旧金山召开。本文总结了Uber、Stripe、Microsoft、Instacart、Jawbone的发言内容。也介绍了会议主题“数据科学在现实世界中是一个产品和工程学科”。

https://medium.com/@eugmandel/software-engineering-invades-data-science-notes-from-dataengconf-4a3c066b081f#.g2h0duo44

Hortonworks在上周都柏林举行的Hadoop欧洲峰会上大放异彩。ZDNet报导了这些亮点，其中包括与Pivotal（已转售给HDP）的扩展合作，与Syncosrt的转售协议，以及Atlas、Ranger、Zeppelin、Metron的技术预览。报导还介绍了Hortonworks、Cloudera、MapR产品的不同之处。

http://www.zdnet.com/article/hortonworks-announces-new-alliances-and-releases-hadoop-comes-to-fork-in-road/

Flink 2016峰会将在九月于德国柏林举行。讨论议题征集将于六月末结束。

http://flink.apache.org/news/2016/04/14/flink-forward-announce.html

YouTube上发布了Hadoop都柏林峰会演讲视频。正如预期的那样，这些演讲内容涵盖Hadoop生态系统的各个部分。

https://www.youtube.com/channel/UCAPa-K_rhylDZAUHVxqqsRA/videos?flow=list&live_view=500&view=0&sort=dd

产品发布

Metascope是一个配合Schedoscope在Hadoop集群中进行元数据管理的新工具。通过web界面，利用数据沿袭它能洞察大量的数据。也提供检索、内嵌文档、REST API等等功能。

https://github.com/ottogroup/metascope

Apache HBase 1.2.1于本周发布，在1.2.0的基础上解决了27个问题。发布声明中重点介绍了四个高优先级的问题。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201604.mbox/%3CCAN5cbe7-T5uAYvGRbxw2dfvdbwe5s0nx3vKU8Nt2fzXbKPoQTg@mail.gmail.com%3E

Apache Mahout机器学习库发布了0.12.0版。该版本的“Samsara”数学环境开始支持Apache Flink了，并且是平台无关的。发布声明中分享了与Flink集成、已知问题、项目演进计划相关的内容。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201604.mbox/%3CCAOtpBjj5An876PStdn5kMeaF+up-B72WTmCk9j21EXdP=JOCUA@mail.gmail.com%3E

Apache Storm 1.0.0本周发布了。亮点包括性能提升（普遍提升3倍以上）、新的分布式缓存API、nimbus的高可用性、自动反压、动态worker性能分析等等。

http://storm.apache.org/2016/04/12/storm100-released.html

Apache Kudu（孵化中）本周发布了0.8.0版。本次发布添加了Apache Flume sink、部分功能提升、修复了一批bug。

http://getkudu.io/releases/0.8.0/docs/release_notes.html

Cloudbreak本周发布了1.2版，它为云环境提供Hadoop集群Docker。新特性包括支持OpenStack以及为自定义服务器提供配置脚本。

http://hortonworks.com/blog/announcing-cloudbreak-1-2/

Cloudera发布了Cloudera Enterprise 5.4.10，内置了Flume、Hadoop、HBase、Hive、Impala等组件。

http://community.cloudera.com/t5/Community-News-Release/ANNOUNCE-Cloudera-Enterprise-5-4-10-Released/m-p/39790#U39790

Presto Accumulo是个新项目，为Accumulo读写数据提供了Presto连接器。

https://github.com/bloomberg/presto-accumulo

活动

中国

无

第 165 期 2016年4月10日

启明星辰——平台和大数据整体组编译

本周，包括LinkedIn 和Airbnb新开源项目在内的数个产品进行了重大版本发布。本期技术部分与流式处理有关——Spark、Flink、Kafka等等；新闻部分是关于Spark Summit 和HbaseCon的会议议程。

技术

Zalando发表了他们是如何选择Apache Flink作为流式处理框架的文章。该文章阐述了对评价标准进行验证后得出的结论，阐明了选择Apache Flink的主因—在高吞吐量的情况下依然能保持低延迟，真正的流式处理，开发人员支持。

https://tech.zalando.com/blog/apache-showdown-flink-vs.-spark/

Cloudera博客刊登了来自Wargaming.net的文章，通过本文可了解到他们如何通过Kafka、HBase、Drools、Spark构建实时处理基础设施的。另外，在数据流程方面，他们介绍了如何对HBase的检索和序列化、HBase和Spark之间的数据本地化以及Spark计算方面的优化措施。

http://blog.cloudera.com/blog/2016/04/inside-wargamings-data-driven-real-time-rules-engine/

InfoQ发布了大规模流式处理—SMACK（Spark、Mesos、Akka、Cassandra以及 Kafka）栈的介绍视频。讨论了为什么SMACK栈在处理同样问题的时候比Lambda架构更简单。

http://www.infoq.com/presentations/stream-analytics-scalability

Confluent“日志压缩”系列博文又有更新，介绍了Kafka项目三月份发生的事情。有不少令人关注的开发内容，包括机架感知、Kerberos支持、基于时间索引方面的进展。以及不少你（我也是）没有时间持续关注的最新研发成果。

http://www.confluent.io/blog/log-compaction-highlights-in-the-kafka-and-stream-processing-community-april-2016

Apache Flink 1.0引入了新的复杂事件处理（CEP）库。啰嗦几句，CEP提供了一种检测事件模式的方法。本文借助传感器从数据中心服务器上收集数据，运用一种可能的异常检测用例，诠释了Flink的CEP模式API 。

http://flink.apache.org/news/2016/04/06/cep-monitoring.html

Genome Analysis Toolkit （GATK）最近宣布，下一个版本（当前是alpha）将支持Apache Spark。本文简要介绍了工具箱并展示了怎样通过Spark来检测重复DNA片段的。

http://blog.cloudera.com/blog/2016/04/genome-analysis-toolkit-now-using-apache-spark-for-data-processing/

InfoWorld综述了Spark2.0关于结构化流式处理方面的计划。微批处理将依然延续，还有些新特性，例如无限数据帧（Infinite DataFrames）、一流的重复查询支持。

http://www.infoworld.com/article/3052924/analytics/what-sparks-structured-streaming-really-means.html

AWS大数据博客发布了一篇通过存储在AWS Key Management Service （KMS）中的加密密钥加载数据到S3和Redshift的文章。除了描述所需步骤，本文还介绍了如何在AWS S3中通过KMS密钥加密数据。

http://blogs.aws.amazon.com/bigdata/post/Tx2Q3ZBOZO9DHVQ/Encrypt-Your-Amazon-Redshift-Loads-with-Amazon-S3-and-AWS-KMS

Confluent博客介绍了如何使用Kafka Connect 和 Kafka Streams 编写非凡的“hello world”程序。更确切地说，范例程序从IRC拉维基百科数据，并解析消息、进行多方面的统计计算。本文还用了若干程序展示了整个实现过程。

http://www.confluent.io/blog/hello-world-kafka-connect-kafka-streams

本文从Postgres 向 Cassandra转换简单的模式（schemas），并描述了主要的差异—复制、数据类型（Cassandra不支持JSON）、主键、最终以一致性。

http://neovintage.org/2016/04/07/data-modeling-in-cassandra-from-a-postgres-perspective/

新闻

ESG博客报导了最近Strata+Hadoop World大会的情况。并有些重点关注，例如Spark的良好势头、机器学习、云服务。

http://blog.esg-global.com/riding-high-at-stratahadoop-world

InformationWeek也报导了Strata大会，关注了MapR和Pivotal的关灯片、人工智能等。

http://www.informationweek.com/big-data/ai-public-data-sets-real-time-strata-+-hadoop-keynote-sampling/d/d-id/1324943?

Spark Summit 2016议程敲定，将于6月6-8日在旧金山举行。会议将有两天展开五个方向的讨论。

https://databricks.com/blog/2016/04/04/agenda-announced-for-sparksummit-2016-in-san-francisco.html

福布斯采访了Cloudera CEO Tom Reilly，他讨论了公司的机遇、竞争性市场、上市计划等。

http://www.forbes.com/sites/roberthof/2016/04/06/ceo-tom-reilly-makes-the-case-for-cloudera-and-its-ipo/

Datanami撰文将正在崛起的Apache Kafka作为流式处理的支柱。文章还采访了Confluent联合创始人兼CTO Neha Narkhede，坊间她表示最近将推出Kafka Connect 和 Kafka Streams。

http://www.datanami.com/2016/04/06/real-time-rise-apache-kafka/

HBaseCon将于5月24日在旧金山召开，最近议程才正式宣布。在三个方向上，将有20个以上的议题要讨论。

http://blog.cloudera.com/blog/2016/04/hbasecon-2016-speaker-lineup-announced/

发布

 Apache HBase 0.98.18 和1.1.4最近都发布了。1.1.4上有包括九个或正确性在内的若干修复。HBase 0.98.18羞答答的仅解决了50个问题（bug、改善两个新特性）。

http://mail-archives.apache.org/mod_mbox/hbase-user/201603.mbox/%3CCANZa%3DGu-mAxKEtfoRjctHcE0KD7z52oE010Fgsf6AMmW2tDZLA%40mail.gmail.com%3E 
http://mail-archives.apache.org/mod_mbox/hbase-user/201603.mbox/%3CCA%2BRK%3D_CtZ1L07nS6Og2ekfVwet0qTE7jw-bmyD2pp5UPweUehQ%40mail.gmail.com%3E

Apache Lens发布了2.5.0-beta，作为统一分析接口，它已经支持Hadoop生态系统的执行引擎数据存储了。本次发布解决了87票，主要是bug修复和实现新功能。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201604.mbox/%3CCAL3kmZj60kpopRPpOVEs9o7oTg7YuaC_=c8zncBeMyUESrZsmQ@mail.gmail.com%3E

Airbnb 开源了 Caravel，数据探索系统（数据可视化平台）。Caravel支持多种在商业产品上才能看到的特性，能够连接到任意只要支持SQL方言的系统。尤其它支持面向Druid的实时分析。

https://medium.com/airbnb-engineering/caravel-airbnb-s-data-exploration-platform-15a72aa610e5

MapR 宣布支持Apache Drill 1.6作为他们的分布式系统。比较有亮点的发布有MapR-DB新存储插件、新SQL窗口函数支持以及端对端安全。在网页介绍部分，有些使用MapR-DB API加载数据并通过Drill查询的例子。

https://www.mapr.com/blog/apache-drill-16-mapr-converged-platform-gearing-new-generation-stack-json-enabled-big-data

Apache Flink发布了修复bug后的1.0.x。这次发布解决了23个问题，推荐所有1.0.0的用户升级。

http://flink.apache.org/news/2016/04/06/release-1.0.1.html

Cloudera Enterprise 5.7发布附带了Spark、HBase、Impala、Kafka等组件版本的升级。本次发布的亮点包括从Cloudera Labs 新鲜推荐的Hive-on-Spark、HBase-Spark、Impala性能重要提升，支持SSD 上HBase WAL。

http://blog.cloudera.com/blog/2016/04/cloudera-enterprise-5-7-is-released/

Apache Tajo，构建在Hadoop上的数据仓库系统，发布了0.11.2版。新版本支持了Kerberos，修复了ORC表对Hive的支持等。

http://tajo.apache.org/releases/0.11.2/announcement.html

LinkedIn 开源了 Dr. Elephant，里面的工具能诊断Hadoop和Spark任务的性能问题。基于metrics从YARN资源管理器收集已完成任务数据，Dr. Elephant评估后生成诊断报表，内容包括数据错位、GC开销等。LinkedIn宣称借助它能解决80%的问题。

https://engineering.linkedin.com/blog/2016/04/dr-elephant-open-source-self-serve-performance-tuning-hadoop-spark

活动

中国

无