首页 > 技术文章 > esp-adf Element PipeLine

braveheart007 2019-03-11 16:19 原文

audio_element:

开发基于ADF的程序软件最基本的模块就是audio_element对象。所有的编码、解码、过滤、输入流、输出流实际上都是audio_element。(这个是官方的文件我翻译过来的,讲了个什么玩意我也搞不明白,反正就是说audio_element很重要,是玩ADF的最普遍存在)

ADF的API就是用来执行audio_element的;

Element的通用功能就是从input获得数据,然后处理数据,然后输出到下一级Element;(这个地方输出到下一级element是我根据语境猜测的,不知道对不对,反正人家英文就说输出到next,没有具体说输出给谁)。每个Element就像一个单独的任务;为了在数据的全周期(包括输入、处理、输出)上实现完全控制,audio_element提供了在数据周期各个阶段的回调函数。回调函数的类型包括:打开、处理、关闭、销毁、读写,这些回调函数都可以在audio_element_cfg_t中找到;有些特别的Element甚至用到了所有的可用的回调函数,比如:MP3_Decoder就采用了打开、处理、关闭、销毁等等回调函数;

audio_element的类型都在audio_common.h头文件中audio_element_type_t这个枚举变量中包括了;

Every decoder, encoder, filter, input stream, or output stream is in fact an Audio Element(感觉这句话比较形象,直接粘贴过来),翻译:实际上编码器、解码器、过滤器、输入流、输出流实际上都是音频元素;

 

 audio_pipeline:

audio_pipeline可以将一组audio_element组合到一起,用户是用audio_pipeline的形式来处理数据而不是用单个的audio_element。每个audio_element都连接了一个环形缓冲区。audio_pipeline也负责处理从audio_element到application的信息传递;

 

Event_Interface

在同一个pipeline里面的audio_elenment之间的交流是通过Event_Interface的API实现的;这些API建立在free-rtos队列的基础上;用listeners监听数据,用回调函数通知这些数据信息;

 

 

audio stream:

audio_element把数据引进来,然后处理,最后发出去。这整个的过程就叫做audio_stream。audio_stream类型如下:

举例:用结构体来定义audio_stream的类型,比如I2S stream就用i2s_stream_dfg_t来定义,还需要audio_stream_type_t配合才能完成定义;

 

 

Codecs这些都是解码器:

 

 

 

audio_processing:

ADF提供了一些处理音频的API:

Downmix:把两条音频组合到一起;

Equalizer:均衡器(我也没看懂);

resample filter: 改变音频的频率和单双通道转换;

Sonic:处理音频毛刺和速度;

 

services:

ADF提供了services用于语音硬件和服务器的交互,或者和外界蓝牙的交互;

 

Speech Recogniton:

唤醒词词库加上语音识别接口可以识别唤醒命令。大多数唤醒命令是中文的,有一个英文唤醒命令是:Alexa

speech recognition 包括自主语音识别,比如:voice activity detection 和 speech recording engine.

 

推荐阅读