文档章节

Android多媒体框架初步分析

AK_47
 AK_47
发布于 2014/07/09 17:41
字数 1344
阅读 66
收藏 0

Android 系统整体架构:

我们先看一下多媒体框架在整个Android系统所处的位置

 

从框架图可以看出Media Framework处于Libraries这一层,这层的Library不是用Java实现,一般是C/C++实现,它们通过JavaJNI方式调用。

 

 

多媒体架构:

基于第三方PacketVideo 公司的OpenCORE platform来实现

支持所有通用的音频,视频,静态图像格式

CODEC(编解码器)使用OpenMAX 1L interface 接口进行扩展,可以方便得支持hardware / software codec plug-ins

支持的格式包括:MPEG4H.264MP3AACAMRJPGPNGGIF等。

l      Open Core多媒体框架有一套通用可扩展的接口针对第三方的多媒体遍解码器,输入,输出设备等等 

l      多媒体文件的播放,下载,包括3GPP, MPEG-4,AAC and MP3 containers

l      流媒体文件的下载,实时播放,包括:3GPP, HTTP and RTSP/RTP

l      动态视频和静态图像的编码,解码,例如:MPEG-4, H.263 and AVC (H.264), JPEG

l      语音编码格式: AMR-NB and AMR-WB

l      音乐编码格式: MP3, AAC, AAC+

l      视频和图像格式: 3GPP, MPEG-4 and JPEG

l      视频会议:基于H324-M standard

 

 

图中用黄线圈出的是Media Framework

 

 

Open Core介绍:

Open CoreAndroid 多媒体框架的核心,所有Android平台的音视频采集,播放的操作都是通过它来实现。它也被称为PV(Packet Video), Packet Video是一家专门提供多媒体解决方案的公司。

通过Open Core程序员可以方便快速的开发出想要的多媒体应用程序,例如:音视频的采集,回放,视频会议,实时的流媒体播放等等应用。

 

 

 

 

 

 

 

 

 

 

 

 

Open Core 框架

 

代码结构:

Open Core的代码在Android代码的External/Opencore目录中。这个目录是OpenCore的根目录,其中包含的子目录如下所示

  • android :这里面是一个上层的库,它实现了一个为Android使用的音视频采集,播放的接口,和DRM数字版权管理的接口实现。
  • baselibs :包含数据结构和线程安全等内容的底层库
  • codecs_v2 :音视频的编解码器,基于 OpenMAX 实现
  • engines :核心部分 ,多媒体 引擎的实现
  • extern_libs_v2 :包含了 khronos OpenMAX 的头文件
  • fileformats :文件格式的解析( parser )工具
  • nodes :提供一些PVMFNODE,主要是编解码和文件解析方面的。
  • oscl :操作系统兼容库
  • pvmi   输入输出控制的抽象接口
  • protocols :主要是与网络相关的 RTSP RTP HTTP 等协议 的相关内容
  • pvcommon pvcommon 库文件的 Android.mk 文件,没有源文件。
  • pvplayer pvplayer 库文件的 Android.mk 文件,没有源文件。
  • pvauthor pvauthor 库文件的 Android.mk 文件,没有源文件。
  • tools_v2 :编译工具以及一些可注册的模块。

Open Core 上层代码结构

在实际开发中我们并不会过多的研究Open Core的实现,Android提供了上层的Media API给开发人员使用,MediaPlayerMediaRecorder

Android Media APIs

l      The Android platform is capable of playing both audio and video media. It is also capable of playing media contained in the resources for an application, or a standalone file in the filesystem, or even streaming media over a data connection. Playback is achieved through the android.media.MediaPlayer class.

l      The Android platform can also record audio. Video recording capabilities are coming in the future. This is achieved through the android.media.MediaRecorder class.

 

Media Player

提供的基本接口如下:

Public Methods

static  MediaPlayer create(Context context, Uri uri)

Convenience method to create a MediaPlayer for a given Uri.   

int getCurrentPosition()

Gets the current playback position.     

int getDuration()

Gets the duration of the file.     

int getVideoHeight()

Returns the height of the video.    

 int getVideoWidth()

Returns the width of the video.    

boolean isPlaying()

Checks whether the MediaPlayer is playing.     

void pause()

Pauses playback.     

void prepare()

Prepares the player for playback, synchronously.     

void prepareAsync()

Prepares the player for playback, asynchronously.     

void release()

Releases resources associated with this MediaPlayer object.    

void reset()

Resets the MediaPlayer to its uninitialized state.     

void seekTo(int msec)

Seeks to specified time position.    

 void setAudioStreamType(int streamtype)

Sets the audio stream type for this MediaPlayer.    

 void setDataSource(String path)

Sets the data source (file-path or http/rtsp URL) to use.         

void setDisplay(SurfaceHolder sh)

Sets the SurfaceHolder to use for displaying the video portion of the media.     

void setVolume(float leftVolume, float rightVolume)

Sets the volume on this player. 

void start()

Starts or resumes playback.     

void stop()

Stops playback after playback has been stopped or paused.

 

我们可以看出MediaPlayer类提供了一个多媒体播放器的基本操作,播放,暂停,停止,设置音量等等。

 

简单的例子:

Playing a File

  MediaPlayer mp = new MediaPlayer();

  mp.setDataSource(PATH_TO_FILE);

   mp.prepare();

   mp.start();

Playing a Raw Resource

MediaPlayer mp = MediaPlayer.create(context, R.raw.sound_file_1);

mp.start();

 

 

Media Recorder

提供的基本接口如下:

Public Method:

void prepare()

Prepares the recorder to begin capturing and encoding data.     

void release()

Releases resources associated with this MediaRecorder object.     

void reset()

Restarts the MediaRecorder to its idle state.     

void setAudioEncoder(int audio_encoder)

Sets the audio encoder to be used for recording.     

void setAudioSource(int audio_source)

Sets the audio source to be used for recording.     

void setOutputFile(String path)

Sets the path of the output file to be produced.     

void setOutputFormat(int output_format)

Sets the format of the output file produced during recording.     

void setPreviewDisplay(Surface sv)

Sets a Surface to show a preview of recorded media (video).    

void start()

Begins capturing and encoding data to the file specified with setOutputFile().     

void stop()

Stops recording.

 

简单的例子:

Example:

MediaRecorder recorder = new MediaRecorder();

recorder.setAudioSource(MediaRecorder.AudioSource.MIC);

recorder.setOutputFormat(MediaRecorder.OutputFormat.THREE_GPP);

recorder.setAudioEncoder(MediaRecorder.AudioEncoder.AMR_NB);

recorder.setOutputFile(PATH_NAME);

recorder.prepare();

recorder.start(); // Recording is now started ... recorder.stop();

recorder.reset(); // You can reuse the object by going back to 

                              setAudioSource() step

recorder.release(); // Now the object cannot be reused

 

 

 

 

 

 

 

  

 

 

 

整体的结构如下图所示:

 

l      MediaPlayer JNI

代码位置 /frameworks/base/media/jni

l      MediaPlayer (Native)

代码位置 /frameworks/base/media/libmedia

l      MediaPlayerService (Server)

代码位置 /frameworks/base/media/libmediaplayerservice

l      MediaPlayerService Host Process

代码位置 /frameworks/base/media/mediaserver/main_mediaserver.cpp

l      PVPlayer

代码位置 /external/opencore/android/

 

实际调用过程如下图所示:

 

© 著作权归作者所有

AK_47
粉丝 16
博文 533
码字总数 569998
作品 0
嘉定
程序员
私信 提问
Android手机Wi-Fi及 Wi-Fi直连

> Android WIFI: 当手机成功连接到Wi-Fi热点以后,手机所产生的上网流量都是通过Wi-Fi来传输的,而手机的移动流量会被禁用。但是,我们现在有特殊的业务需求,需要让手机成功连接Wi-Fi后还可...

desaco
03/13
0
0
Android系统源码分析团体项目BeesAndroid正式上线啦

嗨,BeesAndroid开源技术小组正式成立啦,Bees,即蜜蜂,取义分享、合作与奉献的意思,这也是BeesAndroid小组的宗旨,我们第一个团体项目BeesAndroid也于2018年3月6日同步上线,该项目的前 ...

郭孝星
2018/03/08
0
0
Android 进阶学习笔记整理

一.android系统架构图及各层介绍 1. 应用层:应用是用java语言编写的运行在虚拟机上的程序,比如通讯录,日历,电话,短信,浏览器等。 2. 应用框架层:这一层是编写Google发布的核心应用时所...

FunCode
2018/07/22
0
0
VLC for Android : 编译问题 & 解决办法

敬告: 编译前尽量安装/更新必要的软件:vlc-dep, android-sdk, android-ndk 1. libmpeg2 下载源错误, 必须修改$(vlc-setup)/vlc/contrib/src/libmpeg2/rules.mak, 内容如下: #$(vlc-setup...

有初啊
2013/03/30
4.7K
6
【猎头招聘】Android技术经理(年薪20-30万)

大型网游公司诚聘 Android技术经理 年薪20-30万 岗位职责: 1、 独立(或带领项目团队)完成基于android手机平台项目的需求的收集分析、设计、框架搭建、开发与实施部署; 2、 能按照项目计划...

madan
2011/11/21
2.1K
16

没有更多内容

加载失败,请刷新页面

加载更多

数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
今天
4
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
今天
6
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
今天
4
0
Python机器学习之数据探索可视化库yellowbrick

背景介绍 从学sklearn时,除了算法的坎要过,还得学习matplotlib可视化,对我的实践应用而言,可视化更重要一些,然而matplotlib的易用性和美观性确实不敢恭维。陆续使用过plotly、seaborn,...

yeayee
今天
8
0
重读《学习JavaScript数据结构与算法-第三版》- 第5章 队列

定场诗 马瘦毛长蹄子肥,儿子偷爹不算贼,瞎大爷娶个瞎大奶奶,老两口过了多半辈,谁也没看见谁! 前言 本章为重读《学习JavaScript数据结构与算法-第三版》的系列文章,主要讲述队列数据结...

胡哥有话说
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部