时间戳

首页 > 解决方案 > 语音识别的不同模型

android - 语音识别的不同模型

问题描述

我已经尝试了很多时间来运行这个示例项目https://github.com/tensorflow/examples/tree/master/lite/examples/speech_commands/ml并最终使用生成了这个 tflite 模型https://imgur.com/bVpesdd导出目录中的 convert_keras_lite.py。但是，我检查了这个 android 项目https://github.com/tensorflow/examples/tree/master/lite/examples/speech_commands/android中资产目录中的 tflite 模型。我发现 tflite 模型与第一个模型不同。https://imgur.com/7Cn69qx。

我试图将 assets android 目录中的 tflite 模型替换为第一个 tflite 模型，但应用程序突然在 Android Studio logcat 中出现以下错误代码：

2019-12-22 16:45:22.262 795-795/org.tensorflow.lite.examples.speech E/AndroidRuntime: FATAL EXCEPTION: main
    Process: org.tensorflow.lite.examples.speech, PID: 795
    java.lang.RuntimeException: Unable to start activity ComponentInfo{org.tensorflow.lite.examples.speech/org.tensorflow.lite.examples.speech.SpeechActivity}: java.lang.IllegalArgumentException: Input error: Can not resize 1-th input for a model having 1 inputs.
        at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:3139)
        at android.app.ActivityThread.handleLaunchActivity(ActivityThread.java:3282)
        at android.app.servertransaction.LaunchActivityItem.execute(LaunchActivityItem.java:78)
        at android.app.servertransaction.TransactionExecutor.executeCallbacks(TransactionExecutor.java:108)
        at android.app.servertransaction.TransactionExecutor.execute(TransactionExecutor.java:68)
        at android.app.ActivityThread$H.handleMessage(ActivityThread.java:1970)
        at android.os.Handler.dispatchMessage(Handler.java:106)
        at android.os.Looper.loop(Looper.java:214)
        at android.app.ActivityThread.main(ActivityThread.java:7156)
        at java.lang.reflect.Method.invoke(Native Method)
        at com.android.internal.os.RuntimeInit$MethodAndArgsCaller.run(RuntimeInit.java:494)
        at com.android.internal.os.ZygoteInit.main(ZygoteInit.java:975)
     Caused by: java.lang.IllegalArgumentException: Input error: Can not resize 1-th input for a model having 1 inputs.
        at org.tensorflow.lite.NativeInterpreterWrapper.resizeInput(Native Method)
        at org.tensorflow.lite.NativeInterpreterWrapper.resizeInput(NativeInterpreterWrapper.java:194)
        at org.tensorflow.lite.Interpreter.resizeInput(Interpreter.java:285)
        at org.tensorflow.lite.examples.speech.SpeechActivity.onCreate(SpeechActivity.java:190)
        at android.app.Activity.performCreate(Activity.java:7335)
        at android.app.Activity.performCreate(Activity.java:7326)
        at android.app.Instrumentation.callActivityOnCreate(Instrumentation.java:1275)
        at android.app.ActivityThread.performLaunchActivity(ActivityThread.java:3119)**

任何帮助表示赞赏。

标签： androidtensorflowkerasspeech

解决方案

好的，我还没有解决问题，但我想我发现了一些可能有帮助的东西：

首先，TensorFlow 存储库本身（不是专用示例存储库）中的语音命令示例还有其他代码：https ://github.com/tensorflow/tensorflow/tree/master/tensorflow/examples/speech_commands

它不像您使用的那样使用 keras，也没有关于 tflite 转换的信息，所以我猜这个示例是在 tflite 出现之前创建的。在查看了那里使用的 (conv) 模型的架构后，我发现它与 android 项目中预打包的 tflite 模型的架构相同，并且与您发布的第二个 imgur 链接相匹配。

所以看起来 android 项目中的 tflite 模型是旧示例中模型的转换。从https://github.com/tensorflow/examples/tree/master/lite/examples/speech_commands/ml产生的模型与 android 代码完全不兼容，因为输入不同。

这并不奇怪，因为 android 代码几乎是从旧示例 android 代码复制粘贴，并针对 tflite 的使用进行了一些调整。

所以我想最好的办法是处理旧的 ml 代码并将生成的冻结 pb 图转换为 tflite。

更新

我做到了！！！以下是它的工作原理：

  • 从这里下载冻结图。
  • 在python中运行以下
import tensorflow as tf

converter = tf.compat.v1.lite.TFLiteConverter.from_frozen_graph("./conv_actions_frozen.pb", input_arrays=['decoded_sample_data', 'decoded_sample_data:1'], output_arrays=['labels_softmax'])
converter.allow_custom_ops=True
tflite_model = converter.convert()
open("model.tflite", "wb").write(model)

如果您使用 netron 查看模型，您会发现它与 android 示例附带的模型相同。

推荐阅读