javascript - 使用 MSE 将低延迟 avc/h264 视频流式传输到浏览器

Question

我目前正在编码实时视频并流式传输到浏览器。我将 rgb->vuy->h264->Wrap in (MP4 ISO BMFF Byte Stream Format spec, section 3)-> websocket 编码到客户端。第一个包是从 ftyp 到 moov 标签的初始化数据。

从那里开始，我将 moof 和 mdat 标签发送给客户端。我流式传输视频。

无论 mdat 块中有多少帧。MSE 始终缓冲数据以进行无缝播放。如何使用 MSE 覆盖它。

我在某处读到，mdat 有一种方法可以理解它是一个实时蒸汽 webm 块。但我不知道这种想法是否存在于 mp4 或完全存在。

标签： javascriptvideo-streamingmp4h.264mse

Answer 1

我每帧发送一次moof，它可以工作。