scala – UDF的vs Spark sql vs列表达式性能优化

我知道UDF是Spark的完整黑盒子,不会尝试优化它.但是Column类型及其功能的使用将列在:(https://spark.apache.org/docs/2.1.0/api/scala/index.html#org.apache.spark.sql.Column)
使该功能“适合”Catalyst Optimizer?

例如,UDF通过向现有列添加1来创建新列

val addOne = udf( (num: Int) => num + 1 )
df.withColumn("col2", addOne($"col1"))

相同的函数,使用Column类型:

def addOne(col1: Column) = col1.plus(1)
df.withColumn("col2", addOne($"col1"))

要么

spark.sql("select *, col1 + 1 from df")

他们之间的表现会有什么不同吗?

最佳答案
通过一个简单的内存中的6个记录集,第二个和第三个选项产生相对相同的~70毫秒的性能,这比第一个好得多(使用UDF – 0.7秒):

val addOne = udf( (num: Int) => num + 1 )
val res1 = df.withColumn("col2", addOne($"col1"))
res1.show()
//df.explain()

def addOne2(col1: Column) = col1.plus(1)
val res2 = df.withColumn("col2", addOne2($"col1"))
res2.show()
//res2.explain()

val res3 = spark.sql("select *, col1 + 1 from df")
res3.show()

时间线:
前两个阶段用于UDF选项,后两个用于第二个选项,最后两个用于spark SQL:
Timeline - first two stages are for UDF, next two for the second option, and last two for spark sql

在所有三种方法中,shuffle写入完全相同(354.0 B),而持续时间的主要差异是使用UDF时执行程序的计算时间:
Executor compute time when using UDF

转载注明原文:scala – UDF的vs Spark sql vs列表达式性能优化 - 代码日志