python - 暗淡的 PyTorch softmax
问题描述
softmax应该应用于哪个维度?
这段代码:
%reset -f
import torch.nn as nn
import numpy as np
import torch
my_softmax = nn.Softmax(dim=-1)
mu, sigma = 0, 0.1 # mean and standard deviation
train_dataset = []
image = []
image_x = np.random.normal(mu, sigma, 24).reshape((3 , 4, 2))
train_dataset.append(image_x)
x = torch.tensor(train_dataset).float()
print(x)
print(my_softmax(x))
my_softmax = nn.Softmax(dim=1)
print(my_softmax(x))
打印如下:
tensor([[[[-0.1500, 0.0243],
[ 0.0226, 0.0772],
[-0.0180, -0.0278],
[ 0.0782, -0.0853]],
[[-0.0134, -0.1139],
[ 0.0385, -0.1367],
[-0.0447, 0.1493],
[-0.0633, -0.2964]],
[[ 0.0123, 0.0061],
[ 0.1086, -0.0049],
[-0.0918, -0.1308],
[-0.0100, 0.1730]]]])
tensor([[[[ 0.4565, 0.5435],
[ 0.4864, 0.5136],
[ 0.5025, 0.4975],
[ 0.5408, 0.4592]],
[[ 0.5251, 0.4749],
[ 0.5437, 0.4563],
[ 0.4517, 0.5483],
[ 0.5580, 0.4420]],
[[ 0.5016, 0.4984],
[ 0.5284, 0.4716],
[ 0.5098, 0.4902],
[ 0.4544, 0.5456]]]])
tensor([[[[ 0.3010, 0.3505],
[ 0.3220, 0.3665],
[ 0.3445, 0.3230],
[ 0.3592, 0.3221]],
[[ 0.3450, 0.3053],
[ 0.3271, 0.2959],
[ 0.3355, 0.3856],
[ 0.3118, 0.2608]],
[[ 0.3540, 0.3442],
[ 0.3509, 0.3376],
[ 0.3200, 0.2914],
[ 0.3289, 0.4171]]]])
因此,第一个张量在应用 softmax 之前,第二个张量是 softmax 应用于 dim=-1 的张量的结果,第三个张量是 softmax 应用于 dim=1 的张量的结果。
对于第一个 softmax 的结果,可以看到相应的元素总和为 1,例如 [0.4565, 0.5435] -> 0.4565 + 0.5435 == 1。
第二个 softmax 的结果是什么总和为 1?
我应该选择哪个暗值?
更新:维度(3 , 4, 2)
对应于图像维度,其中 3 是 RGB 值,4 是水平像素数(宽度),2 是垂直像素数(高度)。这是一个图像分类问题。我正在使用交叉熵损失函数。另外,我在最后一层使用 softmax 来反向传播概率。
解决方案
你有一个 1x3x4x2 张量 train_dataset。您的 softmax 函数的 dim 参数决定了在哪个维度上执行 Softmax 操作。第一个维度是您的批次维度,第二个是深度,第三个是行,最后一个是列。请看下面的图片(抱歉画得很糟糕),以了解当您将 dim 指定为 1 时如何执行 softmax。
简而言之,4x2 矩阵的每个相应条目的总和等于 1。
更新:应该应用 softmax 哪个维度的问题取决于您的张量存储哪些数据,以及您的目标是什么。
更新:图片分类任务请看pytorch官网教程。它涵盖了在真实数据集上使用 pytorch 进行图像分类的基础知识及其非常简短的教程。尽管该教程不执行 Softmax 操作,但您只需在最后一个全连接层的输出上使用torch.nn.functional.log_softmax。有关完整示例,请参阅MNIST 分类器与 pytorch。在将图像展平为完全连接的层后,您的图像是 RGB 还是灰度并不重要(还要记住,MNIST 示例的相同代码可能对您不起作用,取决于您使用的 pytorch 版本)。
推荐阅读
- c# - 提交不适用于 Azure Bot 发布的 Teams 中的自适应卡
- spring - UnsatisfiedDependencyException: Spring MVC 项目因依赖不满足而无法启动
- python - 将熊猫中的一整列数字转换为等效单词
- python-3.x - 在 python 中实时读取 USB-midi 输入
- microsoft-graph-api - 尝试通过 API 创建对话时,机器人的授权被拒绝
- java - 警告:请考虑将此报告给 com.google.inject.internal.cglib.core.$ReflectUtils$2 的维护者
- javascript - 在 Javascript (HTML/CSS/Javascript) 中触发点击功能时,CSS 可见性属性不会切换
- angular - Apollo Client (Angular) 中的两个端点
- regex - 如果文件夹名称包含文件名的一部分,则将文件移动到文件夹?
- google-apps-script - 谷歌聊天机器人不向聊天发送消息