apache-spark – 如何在Web UI中更改作业/阶段描述?

当我在Apache Spark上运行作业时,Web UI提供了类似于此的视图:

enter image description here

虽然这对我作为开发人员来说非常有用,但我认为阶段描述中的行号对我的支持团队来说并不那么有用.为了使他们的工作更轻松,我希望能够为我的工作的每个阶段以及工作本身提供一个定制的名称,如下所示:

enter image description here

这可以在Spark中完成吗?如果是这样,我该怎么办?

这就是Spark Core称为本地属性的非常罕见的功能之一.

Spark SQL使用它在单个结构化查询下对不同的Spark作业进行分组,因此您可以使用SQL选项卡轻松导航.

您可以使用SparkContext.setLocalProperty控制本地属性:

Set a local property that affects jobs submitted from this thread, such as the Spark fair scheduler pool. User-defined properties may also be set here. These properties are propagated through to worker tasks and can be accessed there via org.apache.spark.TaskContext#getLocalProperty.

Web UI使用两个本地属性:

>“作业”选项卡中的callSite.short(正是您想要的)
>“作业详细信息”页面中的callSite.long.

样品使用

scala> sc.setLocalProperty("callSite.short", "callSite.short")

scala> sc.setLocalProperty("callSite.long", "this is callSite.long")

scala> sc.parallelize(0 to 9).count
res2: Long = 10

并在Web UI中得到结果.

Jobs tab in web UI with callSite.short

单击作业以查看可以找到较长呼叫站点的详细信息,即callSite.long.

Job details in web UI with callSite.long

这是Stages选项卡.

Stages tab in web UI

翻译自:https://stackoverflow.com/questions/41903342/how-to-change-job-stage-description-in-web-ui

转载注明原文:apache-spark – 如何在Web UI中更改作业/阶段描述?