scala – Spark UDF Null处理

我正在努力处理UDF中的null值,该UDF对数据帧(源自hive表)进行操作,其中包含一个浮点结构:

数据框(点)具有以下模式:

root
 |-- point: struct (nullable = true)
 |    |-- x: float (nullable = true)
 |    |-- y: float (nullable = true)

例如,我想计算x和y的总和.请注意,我在以下示例中没有“处理”空值,但我希望能够在我的udf中检查point,x或y是否为null.

第一种方法:

val sum = udf((x:Float,y:Float) => x+y)

points.withColumn("sum",sum($"point.x",$"point.y"))

如果struct point为null,则这不起作用,在这种情况下永远不会计算udf(udf中的代码永远不会被执行!),结果为null.另外,我无法检查x或y是否为null,因为在scala中Floats不能为null.

第二种方法:

val sum = udf((pt:Row) => pt.getFloat(0)+pt.getFloat(1))
points.withColumn("sum",sum($"point"))

哪种方法,我可以在我的udf中检查pt为null,但我能够检查x和y,因为Floats不能为null.在这种情况下,我得到一个NullPointerException.

如何编写一个udf win,我可以检查struct,x和y是否为null?

我正在使用spark 1.6.1

更新:
this question相反,我正在处理浮点数而不是字符串(scala中的字符串可以为null,不浮点数)

最佳答案
您可以使用Row.isNullAt(i)来检查ith字段是否为空.在你的情况下,你应该写你的udf为,

sum = udf((point: Row) => point.match {
  case p if (p.isNullAt(0) && p.isNullAt(0)) => 0f
  case p if p.isNullAt(0) => p.getFloat(1)
  case p if p.isNullAt(1) => p.getFloat(0)
  case p => p.getFloat(0) + p.getFloat(1)
})

转载注明原文:scala – Spark UDF Null处理 - 代码日志