scala – 使用来自s3或本地文件系统的spark从子目录递归读取文件

我试图从包含许多子目录的目录中读取文件.数据在S3中,我正在尝试这样做:

val rdd =sc.newAPIHadoopFile(data_loc,
    classOf[org.apache.hadoop.mapreduce.lib.input.TextInputFormat],
    classOf[org.apache.hadoop.mapreduce.lib.input.TextInputFormat],
    classOf[org.apache.hadoop.io.NullWritable])

这似乎不起作用.

感谢帮助

最佳答案
是的它有效,花了一些时间来获得单独的块/拆分,基本上是每个子目录中的特定目录:
S3N://桶/ ROOT_DIR / * /数据/ * / * / *

转载注明原文:scala – 使用来自s3或本地文件系统的spark从子目录递归读取文件 - 代码日志