python - CoreML - 多数组输入需要在应用程序或模型中进行预处理？

Question

我已经使用这个库来构建音频分类模型。然后我将此模型转换为 CoreML。后来想在这段代码中实现模型https://github.com/robmsmt/kDS2iOS/

我对此有疑问，因为模型的输入是 Double MultiArray (1 x 96 x 435)，并且代码采用不同的形式。所以我认为我有两个选择之一，但如果我错了，请纠正我，我可以在应用程序中进行录制，并通过预处理应用程序中的音频文件使其适合模型来按照应用程序的方式进行操作。我不确定是否可能的另一个选项是让原始模型接受音频，这样我就不必在 python 中编写预处理代码两次，而在 xCode 中编写另一个。有人可以告诉我该怎么做吗？

标签： pythonswiftaudiomachine-learningcoreml

Answer 1

这取决于预处理是什么。Core ML 可以进行某些类型的预处理（例如规范化输入），但您仍然需要自己将音频数据加载到 MLMultiArray 中（因为 Core ML 没有“音频”输入）。