转载:以下是本篇文章正文内容,下面案例可供参考
通过对网上众多资料的阅读,发现很对资料书写有误,现对这些资料进行集合整理,欢迎纠错!
一、YUV是什么?
YUV定义:分为三个分量,“Y”表示明亮度(Luminance或Luma),也就是灰度值;而“U”和“V” 表示的则是色度(Chrominance或Chroma),作用是描述影像色彩及饱和度,用于指定像素的颜色。
YUV格式:两大类,planar和packed。对于planar的YUV格式,先连续存储所有像素点的Y,紧接着存储所有像素点的U,随后是所有像素点的V。对于packed的YUV格式,每个像素点的Y,U,V是连续交错存储的。
YUV存储:码流存储格式其实与其采样的方式密切相关,主流的采样方式有三种,YUV4:4:4,YUV4:2:2,YUV4:2:0,关于其详细原理,可以通过网 上其它文章了解,这里我想强调的是如何根据其采样格式来从码流中还原每个像素点的YUV值,因为只有正确地还原了每个像素点的YUV值,才能通过YUV与 RGB的转换公式提取出每个像素点的RGB值,然后显示出来。
YUV特点:与RGB类似,YUV也是一种颜色编码方法,主要用于电视系统以及模拟视频领域,它将亮度信息(Y)与色彩信息(UV)分离,没有UV信息一样 可以显示完整的图像,只不过是黑白的,这样的设计很好地解决了彩色电视机与黑白电视的兼容问题。并且,YUV不像RGB那样要求三个独立的视频信号同时传 输,所以用YUV方式传送占用极少的频宽。
图:用三个图来直观地表示采集的方式吧,以黑点表示采样该像素点的Y分量,以空心圆圈表示采用该像素点的UV分量
先记住下面这段话,以后提取每个像素的YUV分量会用到。
-
YUV 4:4:4采样,每一个Y对应一组UV分量,一个YUV占8+8+8 = 24bits 3个字节。
-
YUV 4:2:2采样,每两个Y共用一组UV分量,一个YUV占8+4+4 = 16bits 2个字节。
-
YUV 4:2:0采样,每四个Y共用一组UV分量,一个YUV占8+2+2 = 12bits 1.5个字节。
我们最常见的YUV420分为两种:YUV420P和YUV420SP
,都是基于4:2:0
采样的,所以如果图片的宽为width
,高为heigth
,在内存中 占的空间为width*height*3/2
,其中前width*height
的空间存放Y分量
,接着width*height/4
存放U分量
,最后width*height/4
存 放V分量
。
二、存储方式
下面我用图的形式给出常见的YUV码流的存储方式,并在存储方式后面附有取样每个像素点的YUV数据的方法,其中,Cb、Cr的含义等同于U、V。
1.YUVY 格式 (属于YUV422)
YUYV为YUV422采样的存储格式中的一种,相邻的两个Y共用其相邻的两个Cb、Cr,分析,对于像素点Y’00、Y’01 而言,其Cb、Cr的值均为 Cb00、Cr00,其他的像素点的YUV取值依次类推。
2.UYVY 格式 (属于YUV422)
UYVY格式也是YUV422采样的存储格式中的一种,只不过与YUYV不同的是UV的排列顺序不一样而已,还原其每个像素点的YUV值的方法与上面一样。
3.YUV422P(属于YUV422)
YUV422P 也属于YUV422的一种,它是一种Plane模式,即平面模式,并不是将YUV数据交错存储,而是先存放所有的Y分量,然后存储所有的U(Cb)分量, 最后存储所有的V(Cr)分量,如上图所示。其每一个像素点的YUV值提取方法也是遵循YUV422格式的最基本提取方法,即两个Y共用一个UV。比如, 对于像素点Y’00、Y’01 而言,其Cb、Cr的值均为 Cb00、Cr00。
4.YV12,YU12格式(属于YUV420P)
YU12和YV12属于YUV420格 式,又叫Plane模式,Y , U , V
分别在不同平面,也就是有三个plane。将Y、U、V分量分别打包,依次存储。其每一个像素点的YUV数据提取遵循YUV420格式的提取方式,即4个Y分量共用一 组UV。注意,上图中,Y’00、Y’01、Y’10、Y’11共用Cr00、Cb00,其他依次类推。 YU12格式在android平台下
也叫作I420格式
,首先是所有Y值
,然后是所有U值
,最后是所有V值
。
5.NV12、NV21(属于YUV420SP)
NV12和NV21属于YUV420格式,是一种two-plane模式,即Y和UV分为两个Plane,但是UV(CbCr)为交错存储,而不是分为三个plane。其提取方式与上一种类似,即Y’00、Y’01、Y’10、Y’11共用Cr00、Cb00。
YUV420 planar数据存储, 以720×488大小图象YUV420 planar为例:
其存储格式是: 共大小为(720×480×3>>1)字节, 分为三个部分:
Y分量: (720×480)个字节
U(Cb)分量: (720×480>>2)个字节
V(Cr)分量: (720×480>>2)个字节
三个部分内部均是行优先存储,三个部分之间是Y,U,V 顺序存储。
即YUV数据的0->720×480字节是Y分量值, 720×480->720×480×5/4字节是U分量 ,720×480×5/4 ->720×480×3/2字节是V分量。
三、转换
1.YUV4 :2: 2 和YUV4:2:0 转换
最简单的方式:YUV4:2:2 —> YUV4:2:0 Y不变,将U和V信号值在行(垂直方向)在进行一次隔行抽样。 YUV4:2:0 —> YUV4:2:2 Y不变,将U和V信号值的每一行分别拷贝一份形成连续两行数据。
在YUV420中,一个像素点对应一个Y,一个4X4的小方块对应一个U和V。对于所有YUV420图像,它们的Y值排列是完全相同的,因为只有Y的图像就是灰度图像。YUV420sp与YUV420p的数据格式它们的UV排列在原理上是完全不同的。420p它是先把U存放完后,再存放V,也就是说UV它们是连续的。而420sp它是UV、UV这样交替存放的。(见下图) 有了上面的理论,我就可以准确的计算出一个YUV420在内存中存放的大小。 width * hight =Y(总和) U = Y / 4 V = Y / 4 。
所以YUV420 数据在内存中的长度是 width * hight * 3 / 2。
假设一个分辨率为8X4的YUV图像,它们的格式如下图:
YUV420sp数据格式如下图 :
YUV420p数据格式如下图 :
旋转90度的算法:
public static void rotateYUV420SP(byte[] src,byte[] des,int width,int height)
{
int wh = width * height;
//旋转Y
int k = 0;
for(int i=0;i<width;i++)
{
for(int j=0;j<height;j++)
{
des[k] = src[width*j + i];
k++;
}
}
for(int i=0;i<width;i+=2)
{
for(int j=0;j<height/2;j++)
{
des[k] = src[wh+ width*j + i];
des[k+1]=src[wh + width*j + i+1];
k+=2;
}
}
}
2.YUV和RGB转换
Y = (0.257 * R) + (0.504 * G) + (0.098 * B) + 16
Cr = V = (0.439 * R) - (0.368 * G) - (0.071 * B) + 128
Cb = U = -(0.148 * R) - (0.291 * G) + (0.439 * B) + 128
B = 1.164(Y - 16) + 2.018(U - 128)
G = 1.164(Y - 16) - 0.813(V - 128) - 0.391(U - 128)
R = 1.164(Y - 16) + 1.596(V - 128)
四、 区别
1.YV12和YU12(I420)的区别
一般来说,直接采集到的视频数据是RGB24的格式,RGB24一帧的大小size=width×heigth×3 Bit,RGB32的size=width×heigth×4,如果是YU12(即YUV标准格式4:2:0)的数据量是 size=width×heigth×1.5 Bit。 在采集到RGB24数据后,需要对这个格式的数据进行第一次压缩。即将图像的颜色空间由RGB2YUV。因为,X264在进行编码的时候需要标准的YUV(4:2:0)。但是这里需要注意的是,虽然YV12也是(4:2:0),但是YV12和YU12的却是不同的,在存储空间上面有些区别。 如下:
YV12 : 亮度(行×列) + V(行×列/4) + U(行×列/4)
YU12: 亮度(行×列) + U(行×列/4) + V(行×列/4)
可以看出,YV12和YU12基本上是一样的,就是UV的顺序不同。
YU12: YYYYYYYY UU VV =>YUV420P
YV12: YYYYYYYY VV UU =>YUV420P
继续我们的话题,经过第一次数据压缩后RGB24->YUV(I420)。这样,数据量将减少一半,为什么呢?呵呵,这个就太基础了,我就不多写了。同样,如果是RGB24->YUV(YV12),也是减少一半。但是,虽然都是一半,如果是YV12的话效果就有很大损失。然后,经过X264编码后,数据量将大大减少。将编码后的数据打包,通过RTP实时传送。到达目的地后,将数据取出,进行解码。完成解码后,数据仍然是YUV格式的,所以,还需要一次转换,这样windows的驱动才可以处理,就是YUV2RGB24。
YUY2 是 4:2:2 [Y0 U0 Y1 V0]。
2.NV12 和 NV21的区别
NV12:
存储顺序是先存Y值
,再UV
交替存储:YYYYUVUVUV
,以 4 X 4
图片为例子,占用内存为 4 X 4 X 3 / 2 = 24
个字节
NV21:存储顺序是先存Y值
,再VU
交替存储:YYYYVUVUVU
,以 4 X 4
图片为例子,占用内存为 4 X 4 X 3 / 2 = 24
个字节。
注意:在DVD中,色度信号被存储成Cb和Cr(C代表颜色,b代表蓝色,r代表红色)
NV12: YYYYYYYY UVUV =>YUV420SP
NV21: YYYYYYYY VUVU =>YUV420SP
五、分离示例
1.分离YUV420P
下面基于实例来理解Y,U,V分量的作用
:
先使用ffmpeg
将指定的图片转为yuv420p
格式:
ffmpeg -i input.jpg -s 510x510 -pix_fmt yuv420p input.yuv
分离YUV分量:
void split_yuv420(char *inputPath, int width, int height) {
FILE *fp_yuv = fopen(inputPath, "rb+");
FILE *fp_y = fopen("output_420_y.y", "wb+");
FILE *fp_u = fopen("output_420_u.y", "wb+");
FILE *fp_v = fopen("output_420_v.y", "wb+");
unsigned char *data = (unsigned char *) malloc(width * height * 3 / 2);
fread(data, 1, width * height * 3 / 2, fp_yuv);
//Y
fwrite(data, 1, width * height, fp_y);
//U
fwrite(data + width * height, 1, width * height / 4, fp_u);
//V
fwrite(data + width * height * 5 / 4, 1, width * height / 4, fp_v);
//释放资源
free(data);
fclose(fp_yuv);
fclose(fp_y);
fclose(fp_u);
fclose(fp_v);
}
使用的是ubuntu系统
,因此运行yuvplayer.exe
文件,需要提前安装好wine
:sudo apt install wine
,运行yuvplayer
之后,需要先设置像素格式为Y
,否则你看到的图像可能会有问题。
先看output_420_y.y
文件:(分辨率设置为510×510)
output_420_u.y
显示如下:(分辨率设置为255×255)
output_420_v.y
显示如下:(分辨率设置为255×255)
生成灰度图:
上面的例子实际上已经生成了一个灰度图
了,但是只保留了Y分量
,你如果直接用ffplay工具
查看会有问题,下面的函数将会生成一个标准的YUV文件
并且保留Y分量
,你可能会有疑问,为什么U分量和V分量
要写入0x80
,其实你可以参考上面的YUV转RGB的公式
,YUV数据是无法直接显示的,最终需要转成RGB显示,因此我这里是只需要保留Y分量
,忽略UV
分量的影响,因此根据上面的公式,我在Y和U分量中都写入128
就是十六进制的0x80。
保留Y分量(生成灰度图):
void yuv420p_y(char *inputPath, char *outputPath, int width, int height) {
FILE *inFile = fopen(inputPath, "rb+");
FILE *outFile = fopen(outputPath, "wb+");
unsigned char *data = (unsigned char *) malloc(width * height * 3 / 2);
fread(data, 1, width * height * 3 / 2, inFile);
//Y分量
fwrite(data, 1, width * height, outFile);
unsigned char *buffer = (unsigned char *) malloc(width * height / 4);
memset(buffer, 0x80, width * height / 4);
//U分量
fwrite(buffer, 1, width * height / 4, outFile);
//V分量
fwrite(buffer, 1, width * height / 4, outFile);
free(buffer);
free(data);
fclose(inFile);
fclose(outFile);
}
int main() {
yuv420p_y("/home/byhook/media/input.yuv", "/home/byhook/media/output.yuv", 510, 510);
return 0;
}
使用ffplay
来播放yuv格式
的文件:
ffplay -f rawvideo -video_size 510x510 output.yuv
注:这里的分辨率不能错 。
2. 分离YUV422P
YUV422P
基于YUV 4:2:2
采样,每两个Y共用一组UV分量,一个YUV占8+4+4 = 16bits 2个字节。分离代码如下:
void split_yuv422(char *inputPath, int width, int height) {
FILE *fp_yuv = fopen(inputPath, "rb+");
FILE *fp_y = fopen("output_422_y.y", "wb+");
FILE *fp_u = fopen("output_422_u.y", "wb+");
FILE *fp_v = fopen("output_422_v.y", "wb+");
unsigned char *data = (unsigned char *) malloc(width * height * 2);
fread(data, 1, width * height * 2, fp_yuv);
//Y
fwrite(data, 1, width * height, fp_y);
//U
fwrite(data + width * height, 1, width * height / 2, fp_u);
//V
fwrite(data + width * height * 3 / 2, 1, width * height / 2, fp_v);
//释放资源
free(data);
fclose(fp_yuv);
fclose(fp_y);
fclose(fp_u);
fclose(fp_v);
}
3. 分离YUV444P
YUV444P
基于YUV 4:4:4
采样,每一个Y对应一组UV分量,一个YUV占8+8+8 = 24bits 3个字节。分离代码如下:
void split_yuv444(char *inputPath, int width, int height) {
FILE *fp_yuv = fopen(inputPath, "rb+");
FILE *fp_y = fopen("output_444_y.y", "wb+");
FILE *fp_u = fopen("output_444_u.y", "wb+");
FILE *fp_v = fopen("output_444_v.y", "wb+");
unsigned char *data = (unsigned char *) malloc(width * height * 3);
fread(data, 1, width * height * 3, fp_yuv);
//Y
fwrite(data, 1, width * height, fp_y);
//U
fwrite(data + width * height, 1, width * height, fp_u);
//V
fwrite(data + width * height * 2, 1, width * height, fp_v);
//释放资源
free(data);
fclose(fp_yuv);
fclose(fp_y);
fclose(fp_u);
fclose(fp_v);
}
总结
参考:
详解YUV数据格式(YUV444,YUV422,YUV420,YV12,YU12,NV12,NV21)
https://en.wikipedia.org/wiki/YUV
今天的文章yuv数据存储格式_yuv格式分享到此就结束了,感谢您的阅读。
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。
如需转载请保留出处:https://bianchenghao.cn/80748.html