欢迎来到Hadoop周刊周一特别版。本周有大量来自Spark、Kafka、Beam、Kudu的技术新闻。如果你正在寻找一些更前沿的技术，Apache Metron（孵化中）发布了它们第一个版本。Metron，是一个构建在Hadoop上正在不断发展的通用安全系统。

技术新闻

本文介绍了如何在AWS上构建流式处理系统。包括了诸如Amazon Kinesis 、AWS Lambda、Kineses S3 connector之类简单的搭配方案，也介绍了AWS实现实时分析场景这样相对复杂点的方案。

http://cdn.oreillystatic.com/en/assets/1/event/144/Building%20a%20scalable%20architecture%20for%20processing%20streaming%20data%20on%20AWS%20Presentation.pdf

本文介绍了怎样使用Spark Testing Base。Spark Testing Base是一个用Scala编写，通过Java调用的Spark测试框架。本文的样例代码展示了如何隔离测试逻辑重构Spark代码，同时还通过Java处理了一些臃肿的Scala API。

http://www.jesse-anderson.com/2016/04/unit-testing-spark-with-java/

Altiscale博客概述了在Spark环境下，构建thin和uber jar包的优劣。示范了在Maven和SBT分别构建两种包的情况。

https://www.altiscale.com/blog/spark-on-hadoop-thin-jars/

LinkedIn介绍了他们的Kafka生态系统，生态系统包含一个特殊的Kafka producer，一个为非Java客户端提供的REST API，一个avro模式注册表，以及Gobblin（装载数据到Hadoop的工具）等等。

https://engineering.linkedin.com/blog/2016/04/kafka-ecosystem-at-linkedin

该Spark Streaming教程介绍了怎样通过twitter4j API拉推文，基于标签过滤，对推文进行情感分析。

https://www.mapr.com/blog/spark-streaming-and-twitter-sentiment-analysis

Apache Kudu（孵化中）是Apache Impala（孵化中）的绝佳伴侣，因为它能高效地解决广泛的分析和有针对性的查询。本文描述了两者集成的技术细节，例如Kudu的设计如何保证高效地查询能力，如何通过Impala和Kudu执行写／更新／删除操作等等。

http://blog.cloudera.com/blog/2016/04/how-to-use-impala-and-kudu-together-for-analytic-workloads/

MapR撰文介绍了使用spark-sklearn扩展一个已存在的scikit-learn模型。文章介绍了如何透过Airbnb数据集内部建模，还介绍了如何傍着spark-sklearn进行交叉验证。

https://www.mapr.com/blog/predicting-airbnb-listing-prices-scikit-learn-and-apache-spark

AWS大数据博客写了个如何在Amazon EMR中使用HBase和Hive的教程。本教程介绍了HBase，描述了如何在S3中恢复HBase表，示范了Hive和HBase如何集成等等。

http://blogs.aws.amazon.com/bigdata/post/Tx3EGE8Z90LZ9WX/Combine-NoSQL-and-Massively-Parallel-Analytics-Using-Apache-HBase-and-Apache-Hiv

本文描述了为学生在大数据课程上提供实战经验的挑战。作者经历若干次的迭代和选择似乎有了一个好方案— Altiscale的Hadoop-as-a-Service。

https://www.altiscale.com/blog/hadoop-as-a-service-in-the-classroom/

Cloudera博客的一篇客做文章，作者比较了Parquet和Avro在跨两个数据集的不同处理方式（一个数据集窄(3列)、一个数据集宽(103列)）。在用Spark和Spark SQL测试查询／操作后，作者发现Parquet和Avro在查询序列化数据方面有时表现很类似，尽管在大多数情况下查询Parquet数据的时候更快点（序列化数据更小）。

http://blog.cloudera.com/blog/2016/04/benchmarking-apache-parquet-the-allstate-experience/

本文介绍了如何在CDH这样的分布式环境中使用SparkR，尽管SparkR官方还没有支持这种方式。借助YARN在worker本地安装R语言包，job稍加改造就能执行了。

http://www.nodalpoint.com/sparkr-in-cloudera-hadoop/

很多开源框架都能执行MapReduce以及借助更高级的编程模型完成类似的工作。纵观过去，它们依赖独立运行的框架（例如MapReduce, Storm），但是最近的某些变化使得这一切充满了变数。Apache Beam（孵化中）更进一步地跨越了批处理、流式处理两种执行模式，内置更加复杂的计算模型。

http://www.datanami.com/2016/04/22/apache-beam-emerges-ambitious-goal-unify-big-data-development/

Apache博客发布了HBase在HDD、SSD以及RAMDISK上的写入性能测试比对的7篇系列文章。通过这一分析，作者发现并提议在HBase和HDFS上实现一些未覆盖的功能。

https://blogs.apache.org/hbase/entry/hdfs_hsm_and_hbase_part

其他新闻

Tom White，“Hadoop权威指南”的作者撰文介绍他是如何步入Apache Hadoop殿堂的。他的早期贡献是绕着Hadoop与Amazon Web Services集成展开，而今AWS已成为Hadoop项目成功的重要部分。

http://vision.cloudera.com/how-i-got-into-hadoop/

Fluo，为Apache Accumulo准备的分布式处理引擎，向Apache孵化器提交了孵化申请。

https://wiki.apache.org/incubator/FluoProposal

Apache Phoenix宣布将在HBaseCon后举行会议，Apache Phoenix是一个SQL-on-HBase系统。该会议只有半天，主题是介绍Phoenix内部情况和用例。

http://hortonworks.com/blog/announcing-first-annual-phoenixcon-apache-phoenix-user-conference/

产品发布

Apache Metron，构建于Hadoop上的安全框架，发布了0.1版。Hortonworks支撑其作为技术预览版，并撰写本文介绍了如何上手，如何贡献，如何使用Metron UI等等。

http://hortonworks.com/blog/apache-metron-tech-preview-1-come-get/

http://hortonworks.com/blog/apache-metron-use-case-finding-needle-haystack/

Apache NiFi本周发布了0.6.1版。这是修复了10多个bug后的修复版。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201604.mbox/%3CCALJK9a7yLnFeJ7Z=eU6mOB-DXvo8MHUr=_RshSjZcTbTcAHDZA@mail.gmail.com%3E

Apache Flink本周发布了1.0.2版。本次发布包括了bug修复，RocksDB环境下的性能提升以及一些文档方面的进步。

http://flink.apache.org/news/2016/04/22/release-1.0.2.html

Amazon发布了新版Amazon EMR，开始支持HBase 1.2。

https://aws.amazon.com/blogs/aws/amazon-emr-update-apache-hbase-1-2-is-now-available/

活动

中国

无

2016年4月17日

启明星辰——平台和大数据整体组编译 

Hortonworks在本周Hadoop欧洲峰会上有若干爆料，贯穿了本期整个内容。伴随着骄人的新特性，Apache Storm发布了1.0.0版。在技术新闻方面，有不少基于Kafka构建大规模服务和分布式系统测试的文章。如果你错过了Hadoop峰会，那么不用担心，演讲视频已经放到了网上。

技术新闻

Smyte撰文介绍了他们基于事件数据流实时检测垃圾邮件和诈骗信息的基础设施。最初的事件处理系统构建在Kafka、Redis、Secor以及S3上，为了满足规模不断扩张和廉价的要求，他们把系统迁移到基于磁盘的方案上，使用Redis协议与RocksDB交互，使用Kafka进行复制。

https://medium.com/the-smyte-blog/counting-with-domain-specific-databases-73c660472da

本文把rsyslog、Kafka、AWS 与ELK栈（ElasticSearch、Logstash、Kibana）结合，处理诸如反压、规模以及维护方面的问题。本文覆盖了rsyslog集成Kafka以及schema方面的技巧，也介绍了如何运行Kafka、Zookeeper以及AWS中大规模自动分组。

https://www.bashton.com/blog/2016/elk-on-ark/

Hortonworks撰文介绍了Apache Atlas以及Apache Range将要引入的数据管理特性。这些特性是：分类访问控制、数据有效期策略、位置特性策略、禁止数据集组合、跨组件家族（例如从Kafka到Storm再到Hive的数据跟踪）。

http://hortonworks.com/blog/the-next-generation-of-hadoop-based-security-data-governance/

Apache HAWQ （孵化中）是一个基于Greenplum在HDFS上提供数据查询的SQL引擎。本文讨论了其典型设计以及新版本的诸多改进。包括它与Spark和MapReduce的区别，还有些Hadoop挑战经典MPP设计的内容，以及HAWQ的新设计怎样结合MPP和批处理技术进而使其两者兼顾。

https://blog.pivotal.io/big-data-pivotal/products/apache-hawq-next-step-in-massively-parallel-processing

Cloudera博客撰文介绍了对Hadoop分布式系统进行故障注入、组网的测试工具AgenTEST。它能注入网络故障（例如丢包），资源满载（例如CPU、IO、磁盘空间）等等。当测试网络分区时，可以评估环形组网、桥接组网等等。

http://blog.cloudera.com/blog/2016/04/quality-assurance-at-cloudera-fault-injection-and-elastic-partitioning/

Hortonworks博客展望了将包含新版本Spark和Zeppelin的HDP 2.4.2。Spark2.0预览版和Zeppelin新特性都将包含在内。

http://hortonworks.com/blog/apache-spark-apache-zeppelin-whats-coming-in-hdp-2-4-2/

Cask撰文介绍了在Hbase region compaction这样罕见事件发生的前后，他们是怎样通过长时间测试以评估分布式系统正确性的。

http://blog.cask.co/2016/04/long-running-tests-in-cdap/

本文介绍了如何结合SparkR与亚马逊EMR进行地理空间分析的。通过SparkR的Hive集成组件，可以立刻基于S3上的数据映射Hive外部表。从这开始，数据就能直接加载到内存中使用R语言分析，很容易实现高质量的数据可视化。

http://blogs.aws.amazon.com/bigdata/post/Tx1MECZ47VAV84F/Exploring-Geospatial-Intelligence-using-SparkR-on-Amazon-EMR

MapR编写了使用Pig和Hive分析职业棒球大联盟球队水平的教程。Pig用于数据初加工，Hive提供基于SQL的数据查询环境。借助Hive ODBC驱动和Hive服务器，使得微软Excel也能用于获取和分析数据。

https://www.mapr.com/blog/using-hive-and-pig-baseball-statistics

SignalFX通过27节点的Kafka集群每天处理700多亿条消息。只有基于他们积累的大规模Kafka使用经验才能有如此高的量，因此他们共享了不少调试Kafka的技巧，定位告警（例如日志刷新延迟增加），以及Kafka横向扩展。

http://www.confluent.io/blog/how-we-monitor-and-run-kafka-at-scale-signalfx

dataArtisan's博客为了度量Flink在数据流效率、低延迟、正确性上的能力，专门写了这篇文章。为了证明效率，在高吞吐量的环境下运行了最新的Yahoo!流式基准测试程序。在正确性方面，文章突出了Flink事件判别和处理事件（星球大战电影年表做类比）方面的优势。最后，文章描述了Flink未来版本基于内存的查询任务。

http://data-artisans.com/counting-in-streams-a-hierarchy-of-needs/

本教程介绍了怎样把TCP Socket中的文本数据流转换为Spark流式数据源。

https://medium.com/@anicolaspp/spark-custom-streaming-sources-e7d52da72e80

本文介绍了在构建Hadoop的时候怎样防止AWS证书意外提交到补丁或git资源库。除Hadoop本身外，本文还建议使用“git-secrets”工具防止意外提交访问/安全密钥。如果你用的是Hadoop S3，还推荐了新补丁供评估。

http://steveloughran.blogspot.co.uk/2016/04/testing-against-s3-and-object-stores.html

Big Data & Brews采访了MapR的Ted Dunning和Jacques Nadeau。Apache Arrow也在本次采访范围内。

https://www.youtube.com/watch?v=l3mDDKjDjMk

https://www.youtube.com/watch?v=Xo9CO0a0VJI

其他新闻

DataEngConf最近在旧金山召开。本文总结了Uber、Stripe、Microsoft、Instacart、Jawbone的发言内容。也介绍了会议主题“数据科学在现实世界中是一个产品和工程学科”。

https://medium.com/@eugmandel/software-engineering-invades-data-science-notes-from-dataengconf-4a3c066b081f#.g2h0duo44

Hortonworks在上周都柏林举行的Hadoop欧洲峰会上大放异彩。ZDNet报导了这些亮点，其中包括与Pivotal（已转售给HDP）的扩展合作，与Syncosrt的转售协议，以及Atlas、Ranger、Zeppelin、Metron的技术预览。报导还介绍了Hortonworks、Cloudera、MapR产品的不同之处。

http://www.zdnet.com/article/hortonworks-announces-new-alliances-and-releases-hadoop-comes-to-fork-in-road/

Flink 2016峰会将在九月于德国柏林举行。讨论议题征集将于六月末结束。

http://flink.apache.org/news/2016/04/14/flink-forward-announce.html

YouTube上发布了Hadoop都柏林峰会演讲视频。正如预期的那样，这些演讲内容涵盖Hadoop生态系统的各个部分。

https://www.youtube.com/channel/UCAPa-K_rhylDZAUHVxqqsRA/videos?flow=list&live_view=500&view=0&sort=dd

产品发布

Metascope是一个配合Schedoscope在Hadoop集群中进行元数据管理的新工具。通过web界面，利用数据沿袭它能洞察大量的数据。也提供检索、内嵌文档、REST API等等功能。

https://github.com/ottogroup/metascope

Apache HBase 1.2.1于本周发布，在1.2.0的基础上解决了27个问题。发布声明中重点介绍了四个高优先级的问题。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201604.mbox/%3CCAN5cbe7-T5uAYvGRbxw2dfvdbwe5s0nx3vKU8Nt2fzXbKPoQTg@mail.gmail.com%3E

Apache Mahout机器学习库发布了0.12.0版。该版本的“Samsara”数学环境开始支持Apache Flink了，并且是平台无关的。发布声明中分享了与Flink集成、已知问题、项目演进计划相关的内容。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201604.mbox/%3CCAOtpBjj5An876PStdn5kMeaF+up-B72WTmCk9j21EXdP=JOCUA@mail.gmail.com%3E

Apache Storm 1.0.0本周发布了。亮点包括性能提升（普遍提升3倍以上）、新的分布式缓存API、nimbus的高可用性、自动反压、动态worker性能分析等等。

http://storm.apache.org/2016/04/12/storm100-released.html

Apache Kudu（孵化中）本周发布了0.8.0版。本次发布添加了Apache Flume sink、部分功能提升、修复了一批bug。

http://getkudu.io/releases/0.8.0/docs/release_notes.html

Cloudbreak本周发布了1.2版，它为云环境提供Hadoop集群Docker。新特性包括支持OpenStack以及为自定义服务器提供配置脚本。

http://hortonworks.com/blog/announcing-cloudbreak-1-2/

Cloudera发布了Cloudera Enterprise 5.4.10，内置了Flume、Hadoop、HBase、Hive、Impala等组件。

http://community.cloudera.com/t5/Community-News-Release/ANNOUNCE-Cloudera-Enterprise-5-4-10-Released/m-p/39790#U39790

Presto Accumulo是个新项目，为Accumulo读写数据提供了Presto连接器。

https://github.com/bloomberg/presto-accumulo

活动

中国

无

第 165 期 2016年4月10日

启明星辰——平台和大数据整体组编译

本周，包括LinkedIn 和Airbnb新开源项目在内的数个产品进行了重大版本发布。本期技术部分与流式处理有关——Spark、Flink、Kafka等等；新闻部分是关于Spark Summit 和HbaseCon的会议议程。

技术

Zalando发表了他们是如何选择Apache Flink作为流式处理框架的文章。该文章阐述了对评价标准进行验证后得出的结论，阐明了选择Apache Flink的主因—在高吞吐量的情况下依然能保持低延迟，真正的流式处理，开发人员支持。

https://tech.zalando.com/blog/apache-showdown-flink-vs.-spark/

Cloudera博客刊登了来自Wargaming.net的文章，通过本文可了解到他们如何通过Kafka、HBase、Drools、Spark构建实时处理基础设施的。另外，在数据流程方面，他们介绍了如何对HBase的检索和序列化、HBase和Spark之间的数据本地化以及Spark计算方面的优化措施。

http://blog.cloudera.com/blog/2016/04/inside-wargamings-data-driven-real-time-rules-engine/

InfoQ发布了大规模流式处理—SMACK（Spark、Mesos、Akka、Cassandra以及 Kafka）栈的介绍视频。讨论了为什么SMACK栈在处理同样问题的时候比Lambda架构更简单。

http://www.infoq.com/presentations/stream-analytics-scalability

Confluent“日志压缩”系列博文又有更新，介绍了Kafka项目三月份发生的事情。有不少令人关注的开发内容，包括机架感知、Kerberos支持、基于时间索引方面的进展。以及不少你（我也是）没有时间持续关注的最新研发成果。

http://www.confluent.io/blog/log-compaction-highlights-in-the-kafka-and-stream-processing-community-april-2016

Apache Flink 1.0引入了新的复杂事件处理（CEP）库。啰嗦几句，CEP提供了一种检测事件模式的方法。本文借助传感器从数据中心服务器上收集数据，运用一种可能的异常检测用例，诠释了Flink的CEP模式API 。

http://flink.apache.org/news/2016/04/06/cep-monitoring.html

Genome Analysis Toolkit （GATK）最近宣布，下一个版本（当前是alpha）将支持Apache Spark。本文简要介绍了工具箱并展示了怎样通过Spark来检测重复DNA片段的。

http://blog.cloudera.com/blog/2016/04/genome-analysis-toolkit-now-using-apache-spark-for-data-processing/

InfoWorld综述了Spark2.0关于结构化流式处理方面的计划。微批处理将依然延续，还有些新特性，例如无限数据帧（Infinite DataFrames）、一流的重复查询支持。

http://www.infoworld.com/article/3052924/analytics/what-sparks-structured-streaming-really-means.html

AWS大数据博客发布了一篇通过存储在AWS Key Management Service （KMS）中的加密密钥加载数据到S3和Redshift的文章。除了描述所需步骤，本文还介绍了如何在AWS S3中通过KMS密钥加密数据。

http://blogs.aws.amazon.com/bigdata/post/Tx2Q3ZBOZO9DHVQ/Encrypt-Your-Amazon-Redshift-Loads-with-Amazon-S3-and-AWS-KMS

Confluent博客介绍了如何使用Kafka Connect 和 Kafka Streams 编写非凡的“hello world”程序。更确切地说，范例程序从IRC拉维基百科数据，并解析消息、进行多方面的统计计算。本文还用了若干程序展示了整个实现过程。

http://www.confluent.io/blog/hello-world-kafka-connect-kafka-streams

本文从Postgres 向 Cassandra转换简单的模式（schemas），并描述了主要的差异—复制、数据类型（Cassandra不支持JSON）、主键、最终以一致性。

http://neovintage.org/2016/04/07/data-modeling-in-cassandra-from-a-postgres-perspective/

新闻

ESG博客报导了最近Strata+Hadoop World大会的情况。并有些重点关注，例如Spark的良好势头、机器学习、云服务。

http://blog.esg-global.com/riding-high-at-stratahadoop-world

InformationWeek也报导了Strata大会，关注了MapR和Pivotal的关灯片、人工智能等。

http://www.informationweek.com/big-data/ai-public-data-sets-real-time-strata-+-hadoop-keynote-sampling/d/d-id/1324943?

Spark Summit 2016议程敲定，将于6月6-8日在旧金山举行。会议将有两天展开五个方向的讨论。

https://databricks.com/blog/2016/04/04/agenda-announced-for-sparksummit-2016-in-san-francisco.html

福布斯采访了Cloudera CEO Tom Reilly，他讨论了公司的机遇、竞争性市场、上市计划等。

http://www.forbes.com/sites/roberthof/2016/04/06/ceo-tom-reilly-makes-the-case-for-cloudera-and-its-ipo/

Datanami撰文将正在崛起的Apache Kafka作为流式处理的支柱。文章还采访了Confluent联合创始人兼CTO Neha Narkhede，坊间她表示最近将推出Kafka Connect 和 Kafka Streams。

http://www.datanami.com/2016/04/06/real-time-rise-apache-kafka/

HBaseCon将于5月24日在旧金山召开，最近议程才正式宣布。在三个方向上，将有20个以上的议题要讨论。

http://blog.cloudera.com/blog/2016/04/hbasecon-2016-speaker-lineup-announced/

发布

 Apache HBase 0.98.18 和1.1.4最近都发布了。1.1.4上有包括九个或正确性在内的若干修复。HBase 0.98.18羞答答的仅解决了50个问题（bug、改善两个新特性）。

http://mail-archives.apache.org/mod_mbox/hbase-user/201603.mbox/%3CCANZa%3DGu-mAxKEtfoRjctHcE0KD7z52oE010Fgsf6AMmW2tDZLA%40mail.gmail.com%3E 
http://mail-archives.apache.org/mod_mbox/hbase-user/201603.mbox/%3CCA%2BRK%3D_CtZ1L07nS6Og2ekfVwet0qTE7jw-bmyD2pp5UPweUehQ%40mail.gmail.com%3E

Apache Lens发布了2.5.0-beta，作为统一分析接口，它已经支持Hadoop生态系统的执行引擎数据存储了。本次发布解决了87票，主要是bug修复和实现新功能。

http://mail-archives.us.apache.org/mod_mbox/www-announce/201604.mbox/%3CCAL3kmZj60kpopRPpOVEs9o7oTg7YuaC_=c8zncBeMyUESrZsmQ@mail.gmail.com%3E

Airbnb 开源了 Caravel，数据探索系统（数据可视化平台）。Caravel支持多种在商业产品上才能看到的特性，能够连接到任意只要支持SQL方言的系统。尤其它支持面向Druid的实时分析。

https://medium.com/airbnb-engineering/caravel-airbnb-s-data-exploration-platform-15a72aa610e5

MapR 宣布支持Apache Drill 1.6作为他们的分布式系统。比较有亮点的发布有MapR-DB新存储插件、新SQL窗口函数支持以及端对端安全。在网页介绍部分，有些使用MapR-DB API加载数据并通过Drill查询的例子。

https://www.mapr.com/blog/apache-drill-16-mapr-converged-platform-gearing-new-generation-stack-json-enabled-big-data

Apache Flink发布了修复bug后的1.0.x。这次发布解决了23个问题，推荐所有1.0.0的用户升级。

http://flink.apache.org/news/2016/04/06/release-1.0.1.html

Cloudera Enterprise 5.7发布附带了Spark、HBase、Impala、Kafka等组件版本的升级。本次发布的亮点包括从Cloudera Labs 新鲜推荐的Hive-on-Spark、HBase-Spark、Impala性能重要提升，支持SSD 上HBase WAL。

http://blog.cloudera.com/blog/2016/04/cloudera-enterprise-5-7-is-released/

Apache Tajo，构建在Hadoop上的数据仓库系统，发布了0.11.2版。新版本支持了Kerberos，修复了ORC表对Hive的支持等。

http://tajo.apache.org/releases/0.11.2/announcement.html

LinkedIn 开源了 Dr. Elephant，里面的工具能诊断Hadoop和Spark任务的性能问题。基于metrics从YARN资源管理器收集已完成任务数据，Dr. Elephant评估后生成诊断报表，内容包括数据错位、GC开销等。LinkedIn宣称借助它能解决80%的问题。

https://engineering.linkedin.com/blog/2016/04/dr-elephant-open-source-self-serve-performance-tuning-hadoop-spark

活动

中国

无