android - 如何复用（合并）视频和音频，以便音频在输出视频中循环播放，以防持续时间太短？
问题描述
背景
我需要将视频文件和音频文件合并为一个视频文件，以便：
- 输出视频文件将与输入视频文件具有相同的持续时间
- 输出文件中的音频将仅属于输入音频文件。如果它太短，它将循环到最后（如果需要可以在最后停止）。这意味着一旦音频完成播放而视频没有播放，我应该一遍又一遍地播放，直到视频结束（音频的连接）。
正如我所读到的，这种合并操作的技术术语称为“复用”。
例如，假设我们有一个 10 秒的输入视频和一个 4 秒的音频文件，输出视频将是 10 秒（始终与输入视频相同），音频将播放 2.5 次（前 2覆盖前 8 秒，然后覆盖 4 秒中的 2 秒）。
问题
虽然我找到了如何混合视频和音频的解决方案（此处），但我遇到了多个问题：
我不知道如何在需要时循环编写音频内容。无论我尝试什么，它都会一直给我一个错误
输入文件必须是特定的文件格式。否则，它可能会抛出异常，或者（在极少数情况下）更糟：创建一个包含黑色内容的视频文件。甚至更多：有时“.mkv”文件（例如）可能很好，但有时它不会被接受（两者都可以在视频播放器应用程序上播放）。
当前代码处理缓冲区而不是实际持续时间。这意味着在许多情况下，即使我不应该混合音频，我也可能会停止混合音频，并且与原始视频文件相比，输出视频文件的音频内容会更短，即使视频足够长。
我试过的
我尝试使用以下方法使音频的 MediaExtractor 每次到达结尾时都回到开头：
if (audioBufferInfo.size < 0) { Log.d("AppLog", "reached end of audio, looping...") audioExtractor.seekTo(0, MediaExtractor.SEEK_TO_CLOSEST_SYNC) audioBufferInfo.size = audioExtractor.readSampleData(audioBuf, 0) }为了检查文件的类型，我尝试使用
MediaMetadataRetriever然后检查 mime-type。我认为支持的文档（此处）可在文档（此处）中获得，如标有“编码器”的文档。不确定这一点。我也不知道那里提到的 mime 类型是哪种类型。我还尝试重新初始化与音频相关的所有内容，但它也不起作用。
这是我当前用于复用本身的代码（此处提供完整示例项目）：
object VideoAndAudioMuxer {
// based on: https://stackoverflow.com/a/31591485/878126
@WorkerThread
fun joinVideoAndAudio(videoFile: File, audioFile: File, outputFile: File): Boolean {
try {
// val videoMediaMetadataRetriever = MediaMetadataRetriever()
// videoMediaMetadataRetriever.setDataSource(videoFile.absolutePath)
// val videoDurationInMs =
// videoMediaMetadataRetriever.extractMetadata(MediaMetadataRetriever.METADATA_KEY_DURATION).toLong()
// val videoMimeType =
// videoMediaMetadataRetriever.extractMetadata(MediaMetadataRetriever.METADATA_KEY_MIMETYPE)
// val audioMediaMetadataRetriever = MediaMetadataRetriever()
// audioMediaMetadataRetriever.setDataSource(audioFile.absolutePath)
// val audioDurationInMs =
// audioMediaMetadataRetriever.extractMetadata(MediaMetadataRetriever.METADATA_KEY_DURATION).toLong()
// val audioMimeType =
// audioMediaMetadataRetriever.extractMetadata(MediaMetadataRetriever.METADATA_KEY_MIMETYPE)
// Log.d(
// "AppLog",
// "videoDuration:$videoDurationInMs audioDuration:$audioDurationInMs videoMimeType:$videoMimeType audioMimeType:$audioMimeType"
// )
// videoMediaMetadataRetriever.release()
// audioMediaMetadataRetriever.release()
outputFile.delete()
outputFile.createNewFile()
val muxer = MediaMuxer(outputFile.absolutePath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
val sampleSize = 256 * 1024
//video
val videoExtractor = MediaExtractor()
videoExtractor.setDataSource(videoFile.absolutePath)
videoExtractor.selectTrack(0)
videoExtractor.seekTo(0, MediaExtractor.SEEK_TO_CLOSEST_SYNC)
val videoFormat = videoExtractor.getTrackFormat(0)
val videoTrack = muxer.addTrack(videoFormat)
val videoBuf = ByteBuffer.allocate(sampleSize)
val videoBufferInfo = MediaCodec.BufferInfo()
// Log.d("AppLog", "Video Format $videoFormat")
//audio
val audioExtractor = MediaExtractor()
audioExtractor.setDataSource(audioFile.absolutePath)
audioExtractor.selectTrack(0)
audioExtractor.seekTo(0, MediaExtractor.SEEK_TO_CLOSEST_SYNC)
val audioFormat = audioExtractor.getTrackFormat(0)
val audioTrack = muxer.addTrack(audioFormat)
val audioBuf = ByteBuffer.allocate(sampleSize)
val audioBufferInfo = MediaCodec.BufferInfo()
// Log.d("AppLog", "Audio Format $audioFormat")
//
muxer.start()
// Log.d("AppLog", "muxing video&audio...")
// val minimalDurationInMs = Math.min(videoDurationInMs, audioDurationInMs)
while (true) {
videoBufferInfo.size = videoExtractor.readSampleData(videoBuf, 0)
audioBufferInfo.size = audioExtractor.readSampleData(audioBuf, 0)
if (audioBufferInfo.size < 0) {
// Log.d("AppLog", "reached end of audio, looping...")
//TODO somehow start from beginning of the audio again, for looping till the video ends
// audioExtractor.seekTo(0, MediaExtractor.SEEK_TO_CLOSEST_SYNC)
// audioBufferInfo.size = audioExtractor.readSampleData(audioBuf, 0)
}
if (videoBufferInfo.size < 0 || audioBufferInfo.size < 0) {
// Log.d("AppLog", "reached end of video")
videoBufferInfo.size = 0
audioBufferInfo.size = 0
break
} else {
// val donePercentage = videoExtractor.sampleTime / minimalDurationInMs / 10L
// Log.d("AppLog", "$donePercentage")
// video muxing
videoBufferInfo.presentationTimeUs = videoExtractor.sampleTime
videoBufferInfo.flags = videoExtractor.sampleFlags
muxer.writeSampleData(videoTrack, videoBuf, videoBufferInfo)
videoExtractor.advance()
// audio muxing
audioBufferInfo.presentationTimeUs = audioExtractor.sampleTime
audioBufferInfo.flags = audioExtractor.sampleFlags
muxer.writeSampleData(audioTrack, audioBuf, audioBufferInfo)
audioExtractor.advance()
}
}
muxer.stop()
muxer.release()
// Log.d("AppLog", "success")
return true
} catch (e: Exception) {
e.printStackTrace()
// Log.d("AppLog", "Error " + e.message)
}
return false
}
}
- 我也尝试过使用 FFMPEG 库（这里和这里），看看怎么做。它工作得很好，但它有一些可能的问题：库似乎占用了很多空间，令人讨厌的许可条款，并且由于某种原因，示例无法播放我必须创建的输出文件，除非我删除了命令将使转换慢得多。我真的更喜欢使用内置 API 而不是使用这个库，即使它是一个非常强大的库......而且，对于某些输入文件，它似乎没有循环......
问题
如何混合视频和音频文件，以便在音频比视频更短（持续时间）的情况下音频将循环播放？
我该如何做到这一点，以便在视频结束时准确地剪切音频（视频和音频都没有剩余）？
如何在调用此函数之前检查当前设备是否可以处理给定的输入文件并实际复用它们？有没有办法在运行时检查，这种操作支持这种操作，而不是依赖于未来可能更改的文档列表？
解决方案
我有同样的场景。
1：
audioBufferInfo.size<0时，寻求启动。但请记住，您需要积累presentationTimeUs。2：获取视频时长，当音频循环到时长（
presentationTimeUs也使用）时，剪切。3：音频文件需要为
MediaFormat.MIMETYPE_AUDIO_AMR_NB或MediaFormat.MIMETYPE_AUDIO_AMR_WB或MediaFormat.MIMETYPE_AUDIO_AAC。在我的测试机器上，它运行良好。
这是代码：
private fun muxing(musicName: String) {
val saveFile = File(DirUtils.getPublicMediaPath(), "$saveName.mp4")
if (saveFile.exists()) {
saveFile.delete()
PhotoHelper.sendMediaScannerBroadcast(saveFile)
}
try {
// get the video file duration in microseconds
val duration = getVideoDuration(mSaveFile!!.absolutePath)
saveFile.createNewFile()
val videoExtractor = MediaExtractor()
videoExtractor.setDataSource(mSaveFile!!.absolutePath)
val audioExtractor = MediaExtractor()
val afdd = MucangConfig.getContext().assets.openFd(musicName)
audioExtractor.setDataSource(afdd.fileDescriptor, afdd.startOffset, afdd.length)
val muxer = MediaMuxer(saveFile.absolutePath, MediaMuxer.OutputFormat.MUXER_OUTPUT_MPEG_4)
videoExtractor.selectTrack(0)
val videoFormat = videoExtractor.getTrackFormat(0)
val videoTrack = muxer.addTrack(videoFormat)
audioExtractor.selectTrack(0)
val audioFormat = audioExtractor.getTrackFormat(0)
val audioTrack = muxer.addTrack(audioFormat)
var sawEOS = false
val offset = 100
val sampleSize = 1000 * 1024
val videoBuf = ByteBuffer.allocate(sampleSize)
val audioBuf = ByteBuffer.allocate(sampleSize)
val videoBufferInfo = MediaCodec.BufferInfo()
val audioBufferInfo = MediaCodec.BufferInfo()
videoExtractor.seekTo(0, MediaExtractor.SEEK_TO_CLOSEST_SYNC)
audioExtractor.seekTo(0, MediaExtractor.SEEK_TO_CLOSEST_SYNC)
muxer.start()
val frameRate = videoFormat.getInteger(MediaFormat.KEY_FRAME_RATE)
val videoSampleTime = 1000 * 1000 / frameRate
while (!sawEOS) {
videoBufferInfo.offset = offset
videoBufferInfo.size = videoExtractor.readSampleData(videoBuf, offset)
if (videoBufferInfo.size < 0) {
sawEOS = true
videoBufferInfo.size = 0
} else {
videoBufferInfo.presentationTimeUs += videoSampleTime
videoBufferInfo.flags = videoExtractor.sampleFlags
muxer.writeSampleData(videoTrack, videoBuf, videoBufferInfo)
videoExtractor.advance()
}
}
var sawEOS2 = false
var sampleTime = 0L
while (!sawEOS2) {
audioBufferInfo.offset = offset
audioBufferInfo.size = audioExtractor.readSampleData(audioBuf, offset)
if (audioBufferInfo.presentationTimeUs >= duration) {
sawEOS2 = true
audioBufferInfo.size = 0
} else {
if (audioBufferInfo.size < 0) {
sampleTime = audioBufferInfo.presentationTimeUs
audioExtractor.seekTo(0, MediaExtractor.SEEK_TO_CLOSEST_SYNC)
continue
}
}
audioBufferInfo.presentationTimeUs = audioExtractor.sampleTime + sampleTime
audioBufferInfo.flags = audioExtractor.sampleFlags
muxer.writeSampleData(audioTrack, audioBuf, audioBufferInfo)
audioExtractor.advance()
}
muxer.stop()
muxer.release()
videoExtractor.release()
audioExtractor.release()
afdd.close()
} catch (e: Exception) {
LogUtils.e(TAG, "Mixer Error:" + e.message)
}
}
推荐阅读
- javascript - 使用函数中的变量对对象数组中的值进行排序
- shader - GMS2 绘图着色器仅在 DrawGUI 中工作
- docker - 在超级账本结构中创建第一个通道时，在关闭网络时收到错误
- scope - 如何在 Julia 中获取“do”块的值？
- javascript - 每次调用分配给它的属性时，如何让 Math.random 函数更新？
- c - 使用 fgets() 函数读取 .csv 文件
- javascript - 服务器和客户端路径冲突
- javascript - 在 Javascript 中迭代数组并创建条件逻辑的最佳方法是什么？
- python - Conda 找不到要安装的软件包
- redux - 我可以用来自 redux 的提供者从上下文中包装提供者吗？这
我可以用 redux 的 Provider 包装上下文中的 Provider 吗？下面示例中的 <AuthContext.Provider> 不是来自 redux。
return ( <Provider store={store}>