ffmpeg解析MP4封装的avc1编码问题「建议收藏」

ffmpeg解析MP4封装的avc1编码问题「建议收藏」0、问题  遇到的问题:使用ffmpeg直接读取avc1编码的mp4视频,将读取到的帧写下来(H264码流),播放失败。  原因:ffmpeg解码获取的AVPacket只包含视频压缩数据,并没有包含相关的解码信息(比如:h264的sps,pps头信息),这些解码信息包括编码的profile,level,图像的宽和高,deblock滤波器等。没有这些编码头信息解码器就不能进行解码。1、mp4…

大家好,又见面了,我是你们的朋友全栈君。如果您正在找激活码,请点击查看最新教程,关注关注公众号 “全栈程序员社区” 获取激活教程,可能之前旧版本教程已经失效.最新Idea2022.1教程亲测有效,一键激活。

Jetbrains全系列IDE稳定放心使用

0、问题

  遇到的问题:使用ffmpeg直接读取avc1编码的mp4视频,将读取到的帧写下来(H264码流),播放失败。
  原因: ffmpeg解码获取的AVPacket只包含视频压缩数据,并没有包含相关的解码信息(比如:h264的sps,pps头信息),这些解码信息包括编码的profile,level,图像的宽和高,deblock滤波器等。没有这些编码头信息解码器就不能进行解码。

1、mp4封装的avc1编码

  mp4封装的avc1编码(不带起始码的H264编码格式)视频如果直接用av_read_frame接口读取然后播放是不能播放成功的。因为读取出来的数据不带PPS/SPS、起始码这三种信息。
必须添加上后才能播放。

sps,pps之后就是I帧的数据起始码为00 00 00 01或00 00 01
在这里插入图片描述

上图中黑框内就是sps和psp数据,蓝色框为起始码(00 00 00 01)及I帧标志码(06 50)

2、SPS,PPS在ffmpeg

  H.264码流的SPS和pps信息存储在AVCidecContext结构体的extradata中,添加这些信息需要使用ffmpeg中名称为”h264_mp4toannexb”的bitstream filter处理。
查看ffmpeg工具支持的Bitstream Filter类型命令

ffmpeg -bsfs

在这里插入图片描述

3、新旧接口

《1》、旧接口

int ParseH264ExtraDataInMp4(int stream_id, AVPacket* packet) 
{
	uint8_t *dummy = NULL; int dummy_size;
	AVBitStreamFilterContext* bsfc = av_bitstream_filter_init("h264_mp4toannexb");
	if (bsfc == NULL) 
	{
        envir() << "cannot open the h264_mp4toannexb\n";
        return -1;
	}

 	av_bitstream_filter_filter(bsfc, format_ctx_->streams[stream_id]->codec,
          NULL, &dummy, &dummy_size, NULL, 0, 0);

    av_bitstream_filter_close(bsfc);
}

旧接口使用时需要特别注意,否则很容易导致内存泄漏。

《2》、新接口

int ParseH264ExtraDataInMp4(int stream_id, AVPacket* packet) 
{
const AVBitStreamFilter * absFilter = NULL;
    AVBSFContext *absCtx = NULL;
    AVCodecParameters *codecpar = NULL;

    absFilter = av_bsf_get_by_name("h264_mp4toannexb");

    //过滤器分配内存   
    av_bsf_alloc(absFilter, &absCtx);

    //添加解码器属性   
    codecpar = format_ctx_->streams[stream_id]->codecpar;
    avcodec_parameters_copy(absCtx->par_in, codecpar);
    absCtx->time_base_in = format_ctx_->streams[stream_id]->time_base;

    //初始化过滤器上下文   
    av_bsf_init(absCtx);

    //AVPacket处理   
    if (av_bsf_send_packet(absCtx, packet) < 0)
    {
        printf("av_bsf_send_packet faile \n");
        av_bsf_free(&absCtx);
        absCtx = NULL;
        return -1;
    }


    if (av_bsf_receive_packet(absCtx, packet) == 0)
    {
        //printf("av_bsf_receive_packet faile \n");
        //av_bsf_free(&absCtx);
        //absCtx = NULL;
        return 0;

    }


    av_bsf_free(&absCtx);
    absCtx = NULL;
}

《3》、使用伪代码

int main()
{
    //ffmpeg的open接口打开MP4封装的avc1码流视频 , AVFormatContext *format_ctx_
    //读取一帧av_read_frame,读取到AVPacket packet中

    if(视频帧)    //只处理视频帧,音频不处理  
    {
      int stream_id = packet->stream_index;
      AVCodecContext *codec = NULL;
      codec = format_ctx_->streams[stream_id]->codec;

        if (codec->codec_id == AV_CODEC_ID_H264) 
        {
            //pps and sps
            //const char start_code[4] = { 0, 0, 0, 1 };
            //memcpy(packet->data, start_code, 4);

            if ((codec->extradata[0] != 0) && 
                (ParseH264ExtraDataInMp4(stream_id, packet) == 0)) 
            {

                has_extra_data = True;

            }

#if 0
            {

                FILE* wfd = fopen("out.h264", "ab+");
                if (wfd)
                {

                    if (has_extra_data)
                    {

                        fwrite(codec->extradata, 1, codec->extradata_size, wfd);
                    }

                    fwrite(packet->data, 1, packet->size, wfd);
                    fflush(wfd);
                    fclose(wfd);
                    wfd = NULL;
                }
            }

#endif
        } 
    }
}

4、参考

《1》、https://www.jianshu.com/p/e5e021ccc980
《2》、https://blogs.gentoo.org/lu_zero/2016/03/21/bitstream-filtering/
《3》、http://www.xuhj.top/2018/06/26/ffmpeg-convert-to-ts-stream/
《4》、https://cloud.tencent.com/developer/article/1333501
《5》、sps/pps数据结构
《6》、avc1余h264区别

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

发布者:全栈程序员-用户IM,转载请注明出处:https://javaforall.cn/181038.html原文链接:https://javaforall.cn

【正版授权,激活自己账号】: Jetbrains全家桶Ide使用,1年售后保障,每天仅需1毛

【官方授权 正版激活】: 官方授权 正版激活 支持Jetbrains家族下所有IDE 使用个人JB账号...

(0)


相关推荐

  • openssl-heartbleed漏洞学习

    openssl-heartbleed漏洞学习了解漏洞Heartbleed漏洞:Heartbleed漏洞是openssl的一个漏洞,这个严重漏洞(CVE-2014-0160)的产生是由于未能在memcpy()调用受害用户输入内容作为长度参数之前正确进行边界检查。攻击者可以追踪OpenSSL所分配的64KB缓存、将超出必要范围的字节信息复制到缓存当中再返回缓存内容,这样一来受害者的内存内容就会以每次64KB的速度进行泄露。背景和影响:…

  • Could not find artifact com.sun:tools:jar:1.5.0

    Could not find artifact com.sun:tools:jar:1.5.0【mavenpackage】,则依然报错,但报的是另外一个错误:[INFO]Scanningforprojects…[INFO][INFO]BuildingStruts2BlankWebapp1.0-SNAPSHOT[INFO][INFO]BUILDFAILURE[INFO][IN…

  • Oracle(11g)数据库安装详细图解教程

    Oracle(11g)数据库安装详细图解教程一、下载Oracle11gR2安装包(ForWindows)官网下载百度云盘(提取码:u3xw)下载后的安装包文件如下图所示:同时选中两个压缩包进行解压,解压文件会自动合并到名为database同一文件夹,如下图:进入database目录,双击setup.exe文件进行安装,如下图:首先会弹出黑窗口,不用管它,一会自己就消失了,如下图:…

  • Android audio_audiomack安卓版下载

    Android audio_audiomack安卓版下载音频基础知识声音有哪些重要属性呢?响度(Loudness)响度就是人类可以感知到的各种声音的大小,也就是音量。响度与声波的振幅有直接关系。音调(Pitch)音调与声音的频率有关系,当声音的频率越大时,人耳所感知到的音调就越高,否则就越低。音色(Quality)同一种乐器,使用不同的材质来制作,所表现出来的音色效果是不一样的,这是由物体本身的结构特性所决定的。

  • 倒立摆matlab仿真_控制系统设计实例

    倒立摆matlab仿真_控制系统设计实例本文的研究内容及安排如下:第一章是对倒立摆系统的介绍和分析,简要介绍了对倒立摆系统研究的历程,并对倒立摆系统进行建模,推倒出了倒立摆系统的状态空间表达式;第二章简要介绍了模糊控制的基本原理;第三章简要介绍了BP神经网络;第四章分别用常规PID、最优控制理论以及神经网络模糊控制实现了对倒立摆系统的控制,并对倒立摆系统的响应结果进行比较;第五章是结论,对论文做了总结,并提出了存在的一些问题。本论文研究…

  • SVN版本库修改URL路径或者IP地址

    SVN版本库修改URL路径或者IP地址

发表回复

您的电子邮箱地址不会被公开。

关注全栈程序员社区公众号