python - 为什么 pytorch DataLoader 在 numpy 数组和列表上的行为不同?
问题描述
唯一的区别是传递给 DataLoader 的参数之一是“numpy.array”类型,另一个是“list”类型,但 DataLoader 给出完全不同的结果。
您可以使用以下代码重现它:
from torch.utils.data import DataLoader,Dataset
import numpy as np
class my_dataset(Dataset):
def __init__(self,data,label):
self.data=data
self.label=label
def __getitem__(self, index):
return self.data[index],self.label[index]
def __len__(self):
return len(self.data)
train_data=[[1,2,3],[5,6,7],[11,12,13],[15,16,17]]
train_label=[-1,-2,-11,-12]
########################### Look at here:
test=DataLoader(dataset=my_dataset(np.array(train_data),train_label),batch_size=2)
for i in test:
print ("numpy data:")
print (i)
break
test=DataLoader(dataset=my_dataset(train_data,train_label),batch_size=2)
for i in test:
print ("list data:")
print (i)
break
结果是:
numpy data:
[tensor([[1, 2, 3],
[5, 6, 7]]), tensor([-1, -2])]
list data:
[[tensor([1, 5]), tensor([2, 6]), tensor([3, 7])], tensor([-1, -2])]
解决方案
这是因为在torch.utils.data.DataLoader
. collate_fn
参数决定如何将来自样本的样本合并到一个批次中。此参数的默认值是未记录的torch.utils.data.default_collate
。
此函数通过假设数字/张量/ndarrays 是要批处理的原始数据和包含这些原始数据的列表/元组/dicts 作为要(递归)保留的结构来处理批处理。这使您可以进行这样的语义批处理:
(input_tensor, label_tensor) -> (batched_input_tensor, batched_label_tensor)
([input_tensor_1, input_tensor_2], label_tensor) -> ([batched_input_tensor_1, batched_input_tensor_2], batched_label_tensor)
{'input': input_tensor, 'target': target_tensor} -> {'input': batched_input_tensor, 'target': batched_target_tensor}
(左侧->
是 dataset[i] 的输出,右侧是来自 的批量样本torch.utils.data.DataLoader
)
您的示例代码类似于上面的示例 2:int
在批处理 s 时保留列表结构。
推荐阅读
- c++ - 如何使用 C++“功能测试宏”?
- laravel - Laravel 数据透视表时间戳
- javascript - Algolia JavaScript 调用自动完成搜索
- python-3.x - 每月投资计算器的未来价值 - Python
- winapi - 无法通过标准输出写入 Windows 管道
- c# - 我的字典中的问题
不使用公共类 Divisa:IEquatable 的已实现 Equals(Divisa obj) - rx-java2 - RxJava2 中 switchMap 操作符的对面
- django - 找不到主机名的本地设置
- python-3.x - Scrapy:在 ItemLoader 的输出处理器中使用选择器(xpath)
- powershell - Ansible for Windows:WinRM,如何从 win_command 或 win_shell 模块中删除 -NonInteractive?