H.264/AVC 的分层结构与画面划分

H.264/AVC 的分层结构与画面划分H.264/AVC的分层结构与画面划分

1、H.264/AVC的分层结构

H.264/AVC 的分层结构与画面划分

MPEG-2视像数据位流的结构

注意这是MPEG-2的数据位流分层结构,重点是MPEG-2和数据位流。我们在本篇开篇的时候说,H.264码流的句法和语义,会放在最后讲,所以这里要讲的H.264/AVC的分层结构,并不是指H.264的比特流结构。

那这里的分层结构指的是什么呢?其实就是H.264分层处理数据的结构,H.264区别于之前的标准,将视频压缩标准,分成了两个层次:

  • (1)视像编码层(Video Coding Layer, 简称VCL),用于有效的表达视像内容,主要负责数据编码。
  • (2)网络抽象层(Network Abstraction Layer,简称NAL),用于按照一定格式,对视像编码层输出的数据进行打包和封装,并提供包头(header)等信息,以在不同速率的网络上传输或进行存储。

这两个层次,完成了从RGB/YUV像素数据输入,到编码并输出适应不同速率网络的H264码流的过程。

H.264/AVC 的分层结构与画面划分

H.264/AVC的分层结构

虽然我们说,这里只是对H.264标准数据处理流程的分层,但它确确实实影响到了H264比特流的分层结构。比如上面说的,NAL的作用是对编码层输出的二进制数据进行打包,并提供包头信息,然后输出H264码流。所以H264的码流结构为:

H.264/AVC 的分层结构与画面划分

NALU序列

当然上图只是NAL的单元(Unit)序列,简称NALU序列,一个NALU为NAL头 + RBSP组成。而这里把NALU序列说成是H264码流,是为了说明,H264码流的组成部分,就是一个个NALU。但是实际上的H264码流还需在NALU序列上,加上起始码。

说了这一段,是为了说明H264的比特流结构,和H264的分层结构,确实联系紧密。而H264的比特流结构,我们先点到为止,等到后面讲比特流的句法时,再详细介绍。下面我们开始介绍H264的画面划分,和它的分层结构一样,了解画面划分,对之后理解它的比特流结构,也很有帮助。

本文福利,免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部↓↓

H.264/AVC 的分层结构与画面划分 

2、H.264/AVC画面划分

与MPEG-2和MPEG-1不同的是,H.264/AVC把一帧画面当做一片像片(slice),或分割成若干个像片来表示。如:

H.264/AVC 的分层结构与画面划分

标准的H.264像片

有的同学一看,这和之前的MPEG-2不是差不多嘛,在MPEG-2和MPEG-1里,每帧图像分成许多像片,每个像片由16行组成。对比H.264,感觉H.264除了多了两行,还拐了个弯,好像没啥变化。

恩,首先说,这种感觉是对的。其次,有这种感觉,是因为还有一个重要的知识点没讲,那就是FMO。

FMO(Flexible Macroblock Ordering,灵活宏块次序)

要详细的了解FMO,还得从图像的扫描方式说起。我们都知道,图像扫描的顺序,是从左上角,一行行扫到右下角。而一帧图片由单个或多个像片组成,每个像片(slice)包含了一系列的宏块(MB),这些宏块的处理顺序,和扫描顺序一致,也即像片中的所有MB,均按照光栅扫描的次序被编码。

这样一来,在解码的时候,就得等待所有的片都接收到,并且按照扫描的顺序排好后,才能进行解码。这样一来,解码端是很受限制的,而当使用了任意像片次序(Arbitrary slice ordering,ASO)之后,就能够以数据接收的顺序进行解码。

而FMO呢,则是建立在ASO之上,所以它不仅有任意像片次序的功能,还在这个基础上,增加了像片分组的功能。而像片分组这个功能,不仅是FMO,也是H.264的一大重点。

那什么是像片分组(简称:片组)呢?

片组,其实就是使用某一规则,将一帧画面中的某些宏块划分成一个组,也即片组。这个过程也就是宏块(MB)到片组的映射,而像片(slice)呢,则是在片组内,对宏块做进一步划分。

比如上面我们说一帧画面,由一个或多个像片组成,其实这是不严谨的。严格点来说,一帧画面,是由一个或多个“片组”组成,而“片组”,是由一个或多个“像片”组成,“像片”则由宏块组成。

上面说的一帧画面,由一个或多个“像片”组成,其实这是不使用FMO的情况,这个时候,默认只有一个“片组”。也就是一帧画面,由一个“片组”组成,而“片组”由一个或多个“像片”组成。这就是上图显示的,标准的H.264像片。

这是不使用FMO的情况,那使用了FMO的图像像片是怎样的呢

当使用FMO时,图像根据不同宏块需要的扫描方式的不同,划分成多个片组,这样一来,不同片组的扫描方向和顺序互不影响。H.264规定了6种典型的分组模式,也即宏块到片组的映射规则,这几种模式使用 slice_group_map_type 来指定,数值分别为0~5,如果设置为6则需要自定义映射规则。不过具体slice_group_map_type在哪个地方设置,则是后面比特流句法部分的内容。

下面就是FMO规定的几种分组模式:

H.264/AVC 的分层结构与画面划分

下图是表中的配图:

H.264/AVC 的分层结构与画面划分 

FMO规定的片组

从规则1到规则5,在维基百科上有几张彩图:

H.264/AVC 的分层结构与画面划分

原文链接:H.264/AVC 的分层结构与画面划分 – 资料 – 我爱音视频网 – 构建全国最权威的音视频技术交流分享论坛

本文福利,免费领取C++音视频学习资料包、技术视频,内容包括(音视频开发,面试题,FFmpeg webRTC rtmp hls rtsp ffplay srs↓↓↓↓↓↓见下面↓↓文章底部↓↓ 

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/36276.html

(0)
编程小号编程小号

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注