我想将Spark参数(如输入文件,输出文件)存储到Java属性文件中,并将该文件传递给Spark Driver.我正在使用spark-submit提交作业,但找不到要传递属性文件的参数.你有什么建议吗
最佳答案
这里我找到一个解决方案：
props file：(mypropsfile.conf)//注意：用“spark”键入你的密钥.否则道具将被忽略.
spark.myapp.input /input/path
spark.myapp.output /output/path
发射
$SPARK_HOME/bin/spark-submit --properties-file mypropsfile.conf
如何调用代码:(里面的代码)
sc.getConf.get("spark.driver.host") // localhost
sc.getConf.get("spark.myapp.input") // /input/path
sc.getConf.get("spark.myapp.output") // /output/path
相关文章
转载注明原文：如何加载java属性文件并在Spark中使用？ - 代码日志