如何加载java属性文件并在Spark中使用?

我想将Spark参数(如输入文件,输出文件)存储到Java属性文件中,并将该文件传递给Spark Driver.我正在使用spark-submit提交作业,但找不到要传递属性文件的参数.你有什么建议吗
最佳答案
这里我找到一个解决方案:

props file:(mypropsfile.conf)//注意:用“spark”键入你的密钥.否则道具将被忽略.

spark.myapp.input /input/path
spark.myapp.output /output/path

发射

$SPARK_HOME/bin/spark-submit --properties-file  mypropsfile.conf

如何调用代码:(里面的代码)

sc.getConf.get("spark.driver.host")  // localhost
sc.getConf.get("spark.myapp.input")       // /input/path
sc.getConf.get("spark.myapp.output")      // /output/path

转载注明原文:如何加载java属性文件并在Spark中使用? - 代码日志