配置 – 如何为紧密防火墙配置Apache Spark随机工作端口?

我正在使用Apache Spark来运行机器学习算法和其他大数据任务.以前,我在同一台机器上使用运行spark master和worker的spark cluster standalone模式.现在,我添加了多个工作机器,由于防火墙严密,我必须编辑worker的随机端口.任何人都可以帮助如何更改随机火花口并告诉我究竟需要编辑哪些配置文件?我阅读了spark文档,它说应该配置spark-defaults.conf但是我不知道如何配置这个文件来特别改变spark的随机端口.
点击这里https://spark.apache.org/docs/latest/configuration.html#networking

在“网络”部分中,您可以看到某些端口默认是随机的.您可以将它们设置为您的选择,如下所示:

val conf = new SparkConf() 
    .setMaster(master) 
    .setAppName("namexxx") 
    .set("spark.driver.port", "51810") 
    .set("spark.fileserver.port", "51811") 
    .set("spark.broadcast.port", "51812") 
    .set("spark.replClassServer.port", "51813") 
    .set("spark.blockManager.port", "51814") 
    .set("spark.executor.port", "51815") 
https://stackoverflow.com/questions/27729010/how-to-configure-apache-spark-random-worker-ports-for-tight-firewalls

转载注明原文:配置 – 如何为紧密防火墙配置Apache Spark随机工作端口?