python - skip-gram 模型的输出会是什么样子?
问题描述
据我了解,skip-gram 模型的输出必须与许多训练标签进行比较(取决于窗口大小)
我的问题是:skip-gram 模型的最终输出看起来像这张图片中的描述吗?
附言。我能找到的最相似的问题:[1] skip-gram 中的多个输出是什么意思?
解决方案
很难回答在退化/玩具/人造情况下“应该”发生什么,特别是考虑到实际初始化/训练中使用了多少随机性。
模型的内部权重和“投影层”(又名“输入向量”或只是“词向量”)都通过反向传播进行更改。因此,如果不考虑投影权重的初始化和更新,就无法回答内部权重应该是什么。并且只有两个训练示例没有任何意义,而不是“比模型状态近似的示例多得多”。
如果您认为您已经构建了一个在运行时提供信息的小案例,我建议您针对实际实现进行尝试,看看会发生什么。
但要注意:微小的模型和训练集可能很奇怪,或者允许多个/过度拟合/异质的最终状态,其方式并不能揭示算法在以预期方式使用时的行为方式——在大量不同的情况下的训练数据。
推荐阅读
- visual-studio - Visual Studio 2019 - 查找主题元素的名称
- html - Font-Awesome 将图标加载为正方形
- opencv - 构建暗网:为 CUDA 安装 OpenCV
- java - JSTL Spring Boot - Bean 属性“电子邮件”不可读或具有无效的 getter 方法
- r - 用 gsub 删除方括号不起作用
- sql-server - 无法使用 SSMS 登录我的 SQL Docker 实例
- c++ - Clang 或 GCC 在拒绝/接受此 CTAD 代码时是否正确?
- sql - SQL Day-over-Day 计数错误计算
- arrays - 如何使用 jq 将对象列表转换为列表对象?
- c# - 如何使用 CoinGecko C# API 获取硬币的市值?