1、H.264/AVC的分层结构

MPEG-2视像数据位流的结构

注意这是MPEG-2的数据位流分层结构，重点是MPEG-2和数据位流。我们在本篇开篇的时候说，H.264码流的句法和语义，会放在最后讲，所以这里要讲的H.264/AVC的分层结构，并不是指H.264的比特流结构。

那这里的分层结构指的是什么呢？其实就是H.264分层处理数据的结构，H.264区别于之前的标准，将视频压缩标准，分成了两个层次：

（1）视像编码层（Video Coding Layer，简称VCL），用于有效的表达视像内容，主要负责数据编码。
（2）网络抽象层（Network Abstraction Layer，简称NAL），用于按照一定格式，对视像编码层输出的数据进行打包和封装，并提供包头（header）等信息，以在不同速率的网络上传输或进行存储。

这两个层次，完成了从RGB/YUV像素数据输入，到编码并输出适应不同速率网络的H264码流的过程。

H.264/AVC的分层结构

虽然我们说，这里只是对H.264标准数据处理流程的分层，但它确确实实影响到了H264比特流的分层结构。比如上面说的，NAL的作用是对编码层输出的二进制数据进行打包，并提供包头信息，然后输出H264码流。所以H264的码流结构为：

NALU序列

当然上图只是NAL的单元（Unit）序列，简称NALU序列，一个NALU为NAL头 + RBSP组成。而这里把NALU序列说成是H264码流，是为了说明，H264码流的组成部分，就是一个个NALU。但是实际上的H264码流还需在NALU序列上，加上起始码。

说了这一段，是为了说明H264的比特流结构，和H264的分层结构，确实联系紧密。而H264的比特流结构，我们先点到为止，等到后面讲比特流的句法时，再详细介绍。下面我们开始介绍H264的画面划分，和它的分层结构一样，了解画面划分，对之后理解它的比特流结构，也很有帮助。

本文福利，免费领取C++音视频学习资料包、技术视频，内容包括（音视频开发，面试题，FFmpeg ，webRTC ，rtmp ，hls ，rtsp ，ffplay ，srs）↓↓↓↓↓↓见下面↓↓文章底部↓↓

2、H.264/AVC画面划分

与MPEG-2和MPEG-1不同的是，H.264/AVC把一帧画面当做一片像片（slice），或分割成若干个像片来表示。如：

标准的H.264像片

有的同学一看，这和之前的MPEG-2不是差不多嘛，在MPEG-2和MPEG-1里，每帧图像分成许多像片，每个像片由16行组成。对比H.264，感觉H.264除了多了两行，还拐了个弯，好像没啥变化。

恩，首先说，这种感觉是对的。其次，有这种感觉，是因为还有一个重要的知识点没讲，那就是FMO。

FMO（Flexible Macroblock Ordering，灵活宏块次序）

要详细的了解FMO，还得从图像的扫描方式说起。我们都知道，图像扫描的顺序，是从左上角，一行行扫到右下角。而一帧图片由单个或多个像片组成，每个像片（slice）包含了一系列的宏块（MB），这些宏块的处理顺序，和扫描顺序一致，也即像片中的所有MB，均按照光栅扫描的次序被编码。

这样一来，在解码的时候，就得等待所有的片都接收到，并且按照扫描的顺序排好后，才能进行解码。这样一来，解码端是很受限制的，而当使用了任意像片次序（Arbitrary slice ordering，ASO）之后，就能够以数据接收的顺序进行解码。

而FMO呢，则是建立在ASO之上，所以它不仅有任意像片次序的功能，还在这个基础上，增加了像片分组的功能。而像片分组这个功能，不仅是FMO，也是H.264的一大重点。

那什么是像片分组（简称：片组）呢？

片组，其实就是使用某一规则，将一帧画面中的某些宏块划分成一个组，也即片组。这个过程也就是宏块（MB）到片组的映射，而像片（slice）呢，则是在片组内，对宏块做进一步划分。

比如上面我们说一帧画面，由一个或多个像片组成，其实这是不严谨的。严格点来说，一帧画面，是由一个或多个“片组”组成，而“片组”，是由一个或多个“像片”组成，“像片”则由宏块组成。

上面说的一帧画面，由一个或多个“像片”组成，其实这是不使用FMO的情况，这个时候，默认只有一个“片组”。也就是一帧画面，由一个“片组”组成，而“片组”由一个或多个“像片”组成。这就是上图显示的，标准的H.264像片。

这是不使用FMO的情况，那使用了FMO的图像像片是怎样的呢？

当使用FMO时，图像根据不同宏块需要的扫描方式的不同，划分成多个片组，这样一来，不同片组的扫描方向和顺序互不影响。H.264规定了6种典型的分组模式，也即宏块到片组的映射规则，这几种模式使用 slice_group_map_type 来指定，数值分别为0~5，如果设置为6则需要自定义映射规则。不过具体slice_group_map_type在哪个地方设置，则是后面比特流句法部分的内容。

下面就是FMO规定的几种分组模式：