python – 将大型numpy数组拆分为train和test的内存有效方法

我有一个大的numpy数组,当我运行scikit learn’s train_test_split将数组拆分为训练和测试数据时,我总是遇到内存错误.什么是一种更有效的内存分割方法,以及为什么train_test_split会导致这种情况?

以下代码导致内存错误并导致崩溃

import numpy as np
from sklearn.cross_validation import train_test_split

X = np.random.random((10000,70000))
Y = np.random.random((10000,))
X_train, X_test, Y_train, Y_test = train_test_split(X, Y, test_size = 0.33, random_state=42)
最佳答案
我尝试过的一种方法是将X存储在pandas数据帧和shuffle中

X = X.reindex(np.random.permutation(X.index))

因为我尝试时遇到了相同的内存错误

np.random.shuffle(X)

然后,我将pandas数据帧转换回numpy数组并使用此函数,我可以获得一个列车测试分割

#test_proportion of 3 means 1/3 so 33% test and 67% train
def shuffle(matrix, target, test_proportion):
    ratio = matrix.shape[0]/test_proportion
    X_train = matrix[ratio:,:]
    X_test =  matrix[:ratio,:]
    Y_train = target[ratio:,:]
    Y_test =  target[:ratio,:]
    return X_train, X_test, Y_train, Y_test

X_train, X_test, Y_train, Y_test = shuffle(X, Y, 3)

这现在适用,当我想进行k-fold交叉验证时,我可以迭代循环k次并随机播放pandas数据帧.虽然现在这已足够,为什么numpy和sci-kit学习shuffle和train_test_split的实现会导致大数组的内存错误?

转载注明原文:python – 将大型numpy数组拆分为train和test的内存有效方法 - 代码日志