即将发布的 Apache Spark 2.4 都有哪些新功能

2018-09-28    来源:raincent

容器云强势上线!快速搭建集群,上万Linux镜像随意使用

本文来自于2018年09月19日在 Adobe Systems Inc 举行的 Apache Spark Meetup。来源:Hadoop技术博文

即将发布的 Apache Spark 2.4 版本是 2.x 系列的第五个版本。 本文对 Apache Spark 2.4 的主要功能和增强功能进行了概述。

♦ 新的调度模型(Barrier Scheduling),使用户能够将分布式深度学习训练恰当地嵌入到 Spark 的 stage 中,以简化分布式训练工作流程。

♦ 添加了35个高阶函数,用于在 Spark SQL 中操作数组/map。

♦ 新增一个新的基于 Databricks 的 spark-avro 模块的原生 AVRO 数据源。

♦ PySpark 还为教学和可调试性的所有操作引入了热切的评估模式(eager evaluation mode)。

♦ Spark on K8S 支持 PySpark 和 R ,支持客户端模式(client-mode)。

♦ Structured Streaming 的各种增强功能。 例如,连续处理(continuous processing)中的有状态操作符。

♦ 内置数据源的各种性能改进。 例如,Parquet 嵌套模式修剪(schema pruning)。

♦ 支持 Scala 2.12。

 

标签:

版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点!
本站所提供的图片等素材,版权归原作者所有,如需使用,请与原作者联系。

上一篇:谷歌的Dataset Search开放至今,为什么还搜不到我的数据集?

下一篇:全球6大数据中心,日均10亿日志场景下的高可用实践