google-bigquery – 自动将文件从Google云端存储上传到Bigquery

我们设置了自动FTP流程,每天将数据文件导入Google云端存储.

我想设置一个每日自动化作业,将此csv上传到一个bigquery表中.

做这个的最好方式是什么?我目前的第一个想法是设置一个app引擎实例,其中包含每天运行python脚本的cron作业.有更好的解决方案吗?

最佳答案
Background Cloud FunctionCloud Storage trigger是您的最佳选择!

您可以将其设置为监视新文件的特定存储桶,并在触发触发器时执行加载脚本

忘了提 – 云功能支持(截至目前)只有node.js用于编写脚本 – 这通常不是问题,只是想提一下:o)

转载注明原文:google-bigquery – 自动将文件从Google云端存储上传到Bigquery - 代码日志