python – 从谷歌云存储流式传输gzip压缩文件

我想直接从Google Cloud Storage读取压缩文件,并使用Python csv包打开它们.
本地文件的代码是:

def reader(self):
    print "reading local compressed file: ", self._filename
    self._localfile = gzip.open(self._filename, 'rb')
    csvReader = csv.reader(self._localfile, delimiter=',', quotechar='"')
    return csvReader

我玩了几个GCS API(基于JSON,cloud.storage),但它们似乎都没有给我一些我可以通过gzip流式传输的东西.更重要的是,即使文件未压缩,我也无法打开文件并将其提供给cv.reader(Iterator类型).

我的压缩CSV文件大约为500MB,而未压缩的文件最多使用几GB.我不认为这是一个好主意:1 – 在打开文件之前本地下载文件(除非我可以重叠下载和计算)或2 – 在计算之前将其完全打开在内存中.

最后,我当前在我的本地机器上运行此代码,但最终,我将转移到AppEngine,所以它也必须在那里工作.

谢谢!!

最佳答案
使用GCS,cloudstorage.open(文件名,’r’)将为您提供一个只读文件类对象(之前创建的类似,但使用’w’:-),您可以使用,一次一块,标准Python库的zlib module,特别是zlib.decompressobj,当然,如果GS对象最初是以互补的方式创建的(使用zlib.compressobj).

或者,为方便起见,您可以使用标准Python库gzip module,例如读取阶段,例如:

compressed_flo = cloudstorage.open('objname', 'r')
uncompressed_flo = gzip.GzipFile(fileobj=compressed_flo,mode='rb')
csvReader = csv.reader(uncompressed_flo)

当然,对于早期的写作阶段,反之亦然.

请注意,当您在本地运行时(使用dev_appserver),GCS客户端库使用本地磁盘文件来模拟GCS – 根据我的经验,这对于开发目的很有用,并且当我需要与“real”进行交互时,我可以使用gsutil或其他工具“我本地工作站的GCS存储… GCS适用于我需要从我的GAE应用程序进行此类交互时(以及首先在本地开发所述GAE应用程序:-).

转载注明原文:python – 从谷歌云存储流式传输gzip压缩文件 - 代码日志