文档章节

使用jrtplib(RTP)传输H.264视频文件(1)

__August__
 __August__
发布于 2015/04/30 08:10
字数 2357
阅读 2188
收藏 5

继续上一篇博客,在使用x264对视频进行编码之后,我们需要将编码好的视频进行网络传输,发送给其他的客户端,之后再进行解码。那么,这篇博客我将介绍下如何使用jrtplib这个库对编码后的文件传输。

RTP协议基础知识:

首先,我们依然要先了解一些关于协议的基础知识,不然对于其中的传输参数与发送的数据包顺序什么的我们也就无从下手。在这里,我们仅对一些传输需要了解的关键知识进行介绍,若想了解更全面的关于RTP协议的知识,请直接参看RTP协议的rfc文档,另外,这里有一份翻译的中文版。或者你可以参考这篇博客:按照RFC3984协议实现H264视频流媒体(附源代码),其中有很多有用的资料。

RTP(Real-time Transport Protocol)协议,详细说明了在互联网上传递音频和视频的标准数据包格式。它一开始被设计为一个多播协议,但后来被用在很多单播应用中,所以这个协议既支持单播又支持多播。RTP协议和RTP控制协议RTCP一起使用,而且它是创建在UDP协议上的。但是网上也有人说如果不使用RTSP协议(不了解的话,点这里)的话,RTCP协议就等于形同虚设,我对此观点不太赞同,我觉得不使用RTSP协议也是可以用RTCP配合RTP协议是用的。我在下面的介绍中将会有应用。


既然RTP协议定义的是一个数据包格式,那么下面我们来具体研究下对于传输H264来说,其数据包时如何定义的。

首先,我们来看RTP数据包的结构,RTP数据包由RTPheader和RTPpayload组成,下图为RTP数据头部格式:

图1,RTP数据包格式

各个字段代表含义如下:

V:版本号,一般为2;

P:填充字段标识;

X:扩展头标识;

M:标志 1bit,在传输h264时表示h264 nalu的最后一包

PT: 负载类型 7 bits, H264类型为96

SN:序列号16 bits

Timestamp:  时间戳32bits,如果为视频的话,应该设置为1/9000,音频为1/8000

SSRC: 3bits,用以识别同步源。

CSRC:作用我也未搞清楚,我并未使用该字段。

 

下面我们来探讨RTP的负载包(payload),在此之前,我们必须先了解H264的NALU的负载,对于H264编码后的数据,经过网络层(NAL)编码后产生NALU,其格式已在上篇博客中说明,下面我们介绍naluheader结构,nalu的头部只有一个字节,如下图所示:


其中各个部分定义如下:

F: 1 个比特.
  forbidden_zero_bit. 在 H.264 规范中规定了这一位必须为 0.

NRI: 2 个比特.
  nal_ref_idc. 取 00 ~ 11, 似乎指示这个 NALU的重要性, 如 00 的 NALU 解码器可以丢弃它而不影响图像的回放. 不过一般情况下不太关心这个属性.

Type: 5 个比特.
  nal_unit_type. 这个 NALU 单元的类型. 简述如下:

  0     没有定义
  1-23  NAL单元  单个 NAL 单元包.
  24    STAP-A   单一时间的组合包
  24    STAP-B   单一时间的组合包
  26    MTAP16   多个时间的组合包
  27    MTAP24   多个时间的组合包
  28    FU-A     分片的单元
  29    FU-B     分片的单元
  30-31 没有定义

 

H.264Payload 格式定义了三种不同的基本的负载(Payload)结构. 接收端可能通过RTP Payload的第一个字节来识别它们. 这一个字节类似NALU 头的格式, 而这个头结构的NAL 单元类型字段,则指出了代表的是哪一种结构,这个字节的结构如下, 可以看出它和H.264 的NALU 头结构是一样的.


字段Type:这个RTPpayload 中 NAL 单元的类型. 这个字段和 H.264 中类型字段的区别是, 当 type的值为 24 ~ 31 表示这是一个特别格式的 NAL 单元, 而 H.264 中, 只取 1~23 是有效的值.

关于NALU使用RTP包进行发送可能的类型有:

1. 单一 NAL 单元模式

   即一个 RTP 包仅由一个完整的 NALU 组成. 这种情况下 RTP NAL 头类型字段和原始的H.264的NALU 头类型字段是一样的.

2. 组合封包模式

  即可能是由多个 NAL 单元组成一个 RTP 包. 分别有4种组合方式:STAP-A, STAP-B, MTAP16, MTAP24。那么这里的类型值分别是 24,25, 26 以及 27.

3. 分片封包模式

用于把一个 NALU单元封装成多个 RTP 包. 存在两种类型 FU-A 和 FU-B. 类型值分别是 28 和 29.

 

在我的使用中只遇到第1种和第3中情况,因此我就对这两种进行下详细介绍:

1.      单一NAL单元发送:

对于 NALU的长度小于 MTU 大小的包, 一般采用单一 NAL 单元模式.

对于一个原始的H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成, 其中 Start Code 用于标示这是一个NALU 单元的开始, 必须是"00 00 00 01" 或"00 00 01", NALU 头仅一个字节, 其后都是 NALU 单元内容.打包时去除 "00 00 01" 或"00 00 00 01" 的开始码, 把其他数据封包的 RTP 包即可.有如下例子:

有一个H.264 的 NALU 是这样的:

[00 0000 01 67 42 A0 1E 23 56 0E 2F ... ]

这是一个序列参数集 NAL 单元. [00 00 00 01] 是四个字节的开始码, 67 是 NALU 头, 42 开始的数据是 NALU 内容.

封装成 RTP 包将如下:

[ RTPHeader ] [ 67 42 A0 1E 23 56 0E 2F ]

在这里要说明的是,如果客户端是通用的播放器,比如VLC或者JM的话需要将前导码去掉,但是如果使用的是ffmpeg在客户端解码的话,发送前不需要去掉前导码,去掉之后可能会导致ffmpeg解码错误)。

2.      分片封包模式

而当 NALU 的长度超过 MTU 时, 就必须对 NALU 单元进行分片封包. 也称为Fragmentation Units(FUs).将NALU拆分成小于MTU的数据包进行发送,如果使用的是VLC等网络播放器的话,需要设置FU header,如下图所示:


但是,仍然注意一点,如果使用的是ffmpeg自行进行数据包接收与解码,则完全不必写FU header。

 

下面稍微介绍下RTCP协议:

RTCP的主要功能是:服务质量的监视与反馈,媒体间的同步,以及多播组中成员的标识。由于RTCP分组很短,因此把多个RTCP分组封装在一个UDP用户数据报中。RTCP分组周期性的在网上传送,它带有发送端和接收端对服务质量的统计信息报告(如已发送的分组数和字节数,分组丢失率,分组到达时间间隔的抖动等)。

RTCP可以说是控制交通的协议,它提供了:

 

1)SR发送者报告分组:用来使发送端周期的向所有接收端用多播方式进行报告。内容包括:该RTP流的SSRC;该RTP流中最新产生的RTP分组的时间戳和绝对时钟时间(或称墙上时间:wallclock time);该RTP流包含的分组数;该RTP流包含的字节数。

绝对时钟时间是必要的。因为RTP要求每一种媒体使用一个流。有了绝对时钟时间就可以进行图形和声音的同步。

 

2)RR接收者报告分组:用来使接收端周期性的向所有的点用多播方式进行报告。内容包括:所接收到的RTP流的SSRC;该RTP流的分组丢失率;在该RTP流中的最后一个RTP分组的序号;分组到达时间间隔的抖动等。

发送RR分组有两个目的:

第一,可以使所有的接收端和发送端了解当前网络的状态。

第二,可以使所有发送RTCP分组的站点自适应的调整自己发送RTCP分组的速率,RTCP分组的通信量不超过网络中的数据分组的通信量的5%,而接收端分组报告分组的通信量又应小于所有RTCP分组的通信量的75%。

 

3)SDES源描述分组:给出会话中参加者的描述,包括参加者的规范名(CNAME)

4)BYE分组:关闭一个数据流。

5)APP分组:应用程序能够定义新的分组类型。

 

在这其中我用到4,5分组,其余的可以用来做QoS,暂时我还没有用到。另外,关于显示网络当前状况的RTCP包是由jrtplib自动发送的,不需要自己写代码生成,但是如果你要使用这些包做QoS的话,是需要自己添加消息响应函数来处理的,jrtplib本身并没有提供这样的机制。


关于怎样使用jrtplib进行传输我在下一篇博客中进行介绍。


本文转载自:http://blog.csdn.net/liushu1231/article/details/9203541

共有 人打赏支持
__August__
粉丝 13
博文 25
码字总数 27477
作品 0
广州
程序员
私信 提问
使用jrtplib(RTP)传输H.264视频文件(2)

上一篇我们介绍了RTP协议的一些基本知识,下面我们介绍如何使用jrtplib这个库传输H264编码。 JRTP传输:好了,下面是我写的使用JRTP进行发送H264数据包的例子,具体解释可以看注释。发送端也...

__August__
2015/04/30
0
0
ubuntu下jrtplib的安装和使用

一、流媒体协议 实时传输协议(Real-time Transport Protocol,PRT)是在Internet上处理多媒体数据流的一种网络协议,利用它能够在一对一(unicast,单播)或者一对多(multicast,多播)的网...

runner668
2018/05/28
0
0
流媒体实时传输开发包--jrtplib

RTP 是目前解决流媒体实时传输问题的最好办法,如果需要在Linux平台上进行实时流媒体编程,可以考虑使用一些开放源代码的RTP库,如LIBRTP、 JRTPLIB等。 JRTPLIB是一个面向对象的RTP库,它完...

匿名
2011/08/16
8.8K
0
ffmpeg spydroid -> jrtplib

手机上采用Spydroid程序。 https://github.com/fyhertz/spydroid-ipcamera 先用 libcurl上实现的rtsp客户端。 https://github.com/Akagi201/curl-rtsp 此项目简单,只有一个.c文件。rtsp本质...

shengjuntu
2016/07/12
54
0
onvif网络摄像头开发(一)

ONVIF: ONVIF规范描述了网络视频的模型、接口、数据类型以及数据交互的模式。并复用了一些现有的标准,如WS系列标准等。ONVIF规范的目标是实现一个网络视频框架协议,使不同厂商所生产的网络...

xiaot99
2014/10/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据剖析热点新闻:996、巴黎圣母院、奔驰维权为什么成为本周热搜

智能大数据专家表示:每一段重要的时期都会有一串隐秘的数字密码,请往下看: 本周共有50条新闻,作为嗅嗅的样本进行数据分析,得出以下统计图: 1.新闻热词折线统计图 在新闻标题及正文中,...

forespider
15分钟前
0
0
Coding and Paper Letter(六十四)

资源整理。 1 Coding: 1.交互式瓦片编辑器。 tile playground 2.R语言包autokeras,autokeras的R接口。autokeras是一个开源的自动机器学习的软件。 autokeras 3.斯坦福网络分析平台,用于网络...

胖胖雕
52分钟前
1
0
最简单的cd命令是个大坑!

BASH Shell 是大多 Linux 发行版的默认 shell,BASH 有一些自己的内置命令,cd 就是其中的一个。 在centos6里面,系统中不存在 cd 的二进制文件。但是你仍然可以运行该命令,这是因为 cd 是 ...

gaolongquan
今天
1
0
spring获取bean的几种方式

使用jdk:1.8、maven:3.3.3 spring获取Bean的方式 pom.xml文件内容: <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="......

Vincent-Duan
今天
2
0
一段话系列-Linux中IO的同步、异步、阻塞、非阻塞

首先我们框定一下背景,我们探讨的是Linux系统下的IO模型。 同步和异步是针对内核操作数据而言的,同步是指内核串行顺序操作数据,异步是指内核并行(或并发)操作数据,然后通过回调的方式通...

EasyProgramming
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部