tensorflow - TimeDistributed(Dense) vs Dense in seq2seq
问题描述
鉴于下面的代码
encoder_inputs = Input(shape=(16, 70))
encoder = LSTM(latent_dim, return_state=True)
encoder_outputs, state_h, state_c = encoder(encoder_inputs)
# We discard `encoder_outputs` and only keep the states.
encoder_states = [state_h, state_c]
# Set up the decoder, using `encoder_states` as initial state.
decoder_inputs = Input(shape=(59, 93))
# We set up our decoder to return full output sequences,
# and to return internal states as well. We don't use the
# return states in the training model, but we will use them in inference.
decoder_lstm = LSTM(latent_dim, return_sequences=True, return_state=True)
decoder_outputs,_,_ = decoder_lstm(decoder_inputs,
initial_state=encoder_states)
decoder_dense = TimeDistributed(Dense(93, activation='softmax'))
decoder_outputs = decoder_dense(decoder_outputs)
# Define the model that will turn
# `encoder_input_data` & `decoder_input_data` into `decoder_target_data`
model = Model([encoder_inputs, decoder_inputs], decoder_outputs)
如果我改变
decoder_dense = TimeDistributed(Dense(93, activation='softmax'))
至
decoder_dense = Dense(93, activation='softmax')
它仍然有效,但哪种方法更有效?
解决方案
如果您的数据依赖于时间,例如Time Series
数据或包含不同帧的数据Video
,那么时间Distributed Dense
层比简单Dense
层有效。
Time Distributed Dense
在单元展开dense
期间对每个时间步应用相同的层。GRU/LSTM
这就是为什么误差函数会在predicted label sequence
和之间的原因actual label sequence
。
使用return_sequences=False
,Dense
图层将仅在最后一个单元格中应用一次。这通常RNNs
是用于分类问题的情况。
如果return_sequences=True
,则该Dense
层用于在每个时间步应用,就像TimeDistributedDense
.
在您的模型中,两者都是相同的,但是如果您将第二个模型更改为return_sequences=False
,则Dense
将仅应用于最后一个单元格。
希望这可以帮助。快乐学习!
推荐阅读
- db2 - 在为并行处理创建的 DB2 函数中使用临时表..?
- vuejs2 - Vue js - 注册新函数后 VueToasted 全局为空
- javascript - Firebase Auth:手动检测当前用户最近是否经过身份验证
- ios - 使用 RxSwift 即时更改文本字段的格式
- scala - 如何以编程方式编译和运行 Scala 代码
- youtube-api - YouTube 的 Data APi V3 search.list 没有返回即将发布的视频
- php - 使用 SSH 连接编辑代码时使用 Xdebug 进行 VSCode 远程调试
- reactjs - 将 react-helmet 与 renderToNodeStream 一起使用
- javascript - javascript window.location 路径名
- google-apps-script - 从 Patreon 到 Google 表格的数据