python - 将大熊猫数据框输入 TensorFlow

Question

我正在尝试使用来自 Pandas 数据帧的数据来输入 Tensorflow 管道。我试图这样做：

training_dataset = (tf.data.Dataset.from_tensor_slices((
         tf.cast(df[df.columns[:-1]].values, tf.float32),
         tf.cast(df[df.columns[-1]].values, tf.int32))))

我的数据框在哪里df。但是它非常大，我收到了这个错误：

ValueError: Cannot create a tensor proto whose content is larger than 2GB. 

我是否应该拆分数据框并创建几个张量数据集，这是否可行？解决这个问题的最佳方法是什么？我想过将数据输入feed_dict，但我不知道如何去做。

标签： pythonpandastensorflowbigdata

Answer 1

无需手动拆分数据框。您可以使用它tf.placeholder来避免达到 2GB graphdef 限制。DataFrame.values使用查看此https://www.tensorflow.org/guide/datasets#sumption_numpy_arrays从数据框创建 numpy 数组