ios - FFMPEG 在解码流时对每一帧提出请求,性能降低
问题描述
我在从 iPhone 播放 MOV 相机捕获的文件时遇到问题。我的 FFMPEG 实现播放大多数文件格式都没有问题,这个问题仅适用于相机捕获的 MOV。
尝试打开文件时,我可以在日志中看到发出了许多请求,每个请求只解码一帧,然后再发出一个新请求,这导致视频缓冲速度非常慢。缓冲大约几秒钟的视频大约需要一分钟。
另一件事要提到的是,在本地播放相同的有问题的文件时没有问题。问题是在流式传输时尝试解码。
我使用 cocoapods mobile-ffmpeg-https 4.2 在 Xcode 11、iOS SDK 13 上编译了我的代码。
这是我的代码的粗略表示,它非常标准:
- 这是我打开 AVFormatContext 的方法:
AVFormatContext *context = avformat_alloc_context();
context->interrupt_callback.callback = FFMPEGFormatContextIOHandler_IO_CALLBACK;
context->interrupt_callback.opaque = (__bridge void *)(handler);
av_log_set_level(AV_LOG_TRACE);
int result = avformat_open_input(&context, [request.urlAsString UTF8String], NULL, NULL);
if (result != 0) {
if (context != NULL) {
avformat_free_context(context);
}
return nil;
}
result = avformat_find_stream_info(context, NULL);
if (result < 0) {
avformat_close_input(&context);
return nil;
}
- 视频解码器是这样打开的,音频解码器几乎是一样的
AVCodecParameters *params = context->streams[streamIndex]->codecpar;
AVCodec *codec = avcodec_find_decoder(params->codec_id);
if (codec == NULL) {
return NULL;
}
AVCodecContext *codecContext = avcodec_alloc_context3(codec);
if (codecContext == NULL) {
return NULL;
}
codecContext->thread_count = 6;
int result = avcodec_parameters_to_context(codecContext, params);
if (result < 0) {
avcodec_free_context(&codecContext);
return NULL;
}
result = avcodec_open2(codecContext, codec, NULL);
if (result < 0) {
avcodec_free_context(&codecContext);
return NULL;
}
- 我像这样从服务器读取数据:
AVPacket packet;
int result = av_read_frame(formatContext, &avPacket);
if (result == 0) {
avcodec_send_packet(codecContext, &avPacket);
// .... decode ....
}
打开解码器后的日志:
// [tls] Request is made here
// [tls] Request response headers are here
Probing mov,mp4,m4a,3gp,3g2,mj2 score:100 size:2048
Probing mp3 score:1 size:2048
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] Format mov,mp4,m4a,3gp,3g2,mj2 probed with size=2048 and score=100
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] type:'ftyp' parent:'root' sz: 20 8 23077123
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] ISO: File Type Major Brand: qt
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] type:'wide' parent:'root' sz: 8 28 23077123
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] type:'mdat' parent:'root' sz: 23066642 36 23077123
// [tls] Request is made here
// [tls] Request response headers are here
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] stream 0, sample 4, dts 133333
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] stream 1, sample 48, dts 1114558
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] stream 2, sample 1, dts 2666667
[h264 @ 0x116080200] nal_unit_type: 1(Coded slice of a non-IDR picture), nal_ref_idc: 1
// [tls] Request is made here
// [tls] Request response headers are here
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] stream 0, sample 4, dts 133333
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] stream 1, sample 48, dts 1114558
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x115918e00] stream 2, sample 1, dts 2666667
[h264 @ 0x116080200] nal_unit_type: 1(Coded slice of a non-IDR picture), nal_ref_idc: 1
// [tls] Request is made here
// [tls] Request response headers are here
// ...
这些是我在日志中发现的一些警告
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x11c030800] interrupted
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x11c030800] stream 0: start_time: 0.000 duration: 11.833
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x11c030800] stream 1: start_time: 0.000 duration: 11.832
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x11c030800] stream 2: start_time: 0.000 duration: 11.833
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x11c030800] stream 3: start_time: 0.000 duration: 11.833
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x11c030800] format: start_time: 0.000 duration: 11.833 bitrate=15601 kb/s
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x11c030800] Could not find codec parameters for stream 0 (Video: h264, 1 reference frame (avc1 / 0x31637661), none(bt709, left), 1920x1080, 1/1200, 15495 kb/s): unspecified pixel format
Consider increasing the value for the 'analyzeduration' and 'probesize' options
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x11c030800] After avformat_find_stream_info() pos: 23077123 bytes read:16293 seeks:1 frames:0
同样在调用 avformat_open_input(...) 时,会在返回之前发出 2 个 GET 请求。请注意“Probing mp3 score:1”,对于其他 MOV 文件或任何其他文件未显示。
我尝试过不同版本的ffmpeg,我尝试过处理流的延迟,我尝试删除我的自定义中断回调,但没有任何效果。
代码适用于我测试过的任何其他视频(mp4、mkv、avi)。
测试文件的元数据:
Metadata:
major_brand : qt
minor_version : 0
compatible_brands: qt
creation_time : 2019-04-14T08:17:03.000000Z
com.apple.quicktime.make: Apple
com.apple.quicktime.model: iPhone 7
com.apple.quicktime.software: 12.2
com.apple.quicktime.creationdate: 2019-04-14T11:17:03+0300
Duration: 00:00:16.83, bitrate: N/A
Stream #0:0(und), 0, 1/600: Video: h264, 1 reference frame (avc1 / 0x31637661), none(bt709), 1920x1080 (0x0), 0/1, 15301 kb/s, 30 fps, 30 tbr, 600 tbn (default)
Metadata:
creation_time : 2019-04-14T08:17:03.000000Z
handler_name : Core Media Video
encoder : H.264
Stream #0:1(und), 0, 1/44100: Audio: aac (mp4a / 0x6134706D), 44100 Hz, mono, 100 kb/s (default)
Metadata:
creation_time : 2019-04-14T08:17:03.000000Z
handler_name : Core Media Audio
Stream #0:2(und), 0, 1/600: Data: none (mebx / 0x7862656D), 0/1, 0 kb/s (default)
Metadata:
creation_time : 2019-04-14T08:17:03.000000Z
handler_name : Core Media Metadata
Stream #0:3(und), 0, 1/600: Data: none (mebx / 0x7862656D), 0/1, 0 kb/s (default)
Metadata:
creation_time : 2019-04-14T08:17:03.000000Z
handler_name : Core Media Metadata
解决方案
我找到了一个解决方法(有点):
将 AVFormatContext 的 io_open 回调设置为您自己的函数,然后在调用该函数时,在调用默认 io_open 后更改缓冲区大小。
static int (*IO_OPEN_DEFAULT)(struct AVFormatContext *s, AVIOContext **pb, const char *url, int flags, AVDictionary **options);
int IO_OPEN_OVERRIDE(struct AVFormatContext *s, AVIOContext **pb, const char *url, int flags, AVDictionary **options) {
int result = IO_OPEN_DEFAULT(s, pb, url, flags, options);
pb[0]->buffer_size = 41239179;
return result;
}
这解决了这个问题。您设置的值通常非常大(20 到 40MB)。您可以在打开格式上下文时从第二个网络请求字节范围中获取该值(第一个网络请求使用字节范围 0-* 进行,然后第二个网络请求使用字节范围 XXXX-* 进行,其中 XXXX 应该是缓冲区大小)。
解决问题的原因是,通过缓冲所有数据,aviocontext 不再需要发出新的网络请求来获取音频数据。音频数据已经被缓冲(或者至少是第一个位置)。
可能有更好的方法来解决这个问题,似乎苹果 MOV 文件出于某种原因将它们的视频和音频数据与这些大块分开,这导致 ffmpeg 为每一帧发出一百万个网络请求。
推荐阅读
- c++ - 将最小值整数转换为无符号长整数
- android - 更改启动器活动后未安装 Android 应用程序
- regex - 如何将 + 和 - 应用于 Google 表格中的数字
- hyperledger-fabric - Hyperledger Fabric 前端创建
- javascript - VueJS 小胡子数据绑定不起作用。我该如何调试呢?
- java - 为什么这个方法返回一个 lambda 取决于接口方法的返回类型?
- algorithm - 如何证明最短公共超弦是 NP-Hard
- angular - 解析器错误:表达式末尾出现意外的标记、预期的标识符或关键字
- python-3.x - 收到此错误 SyntaxError: invalid syntax
- unity3d - Unity 3D 到许多游戏对象