技术标签: 音频
MediaPlayer播放流程
setDataSource流程
应用通过setDataSource(FileDescriptor fd, long offset, long length)这个方法将音频资源设置下来,setDataSource 将path 变成文件 描述符fd,最后将fd通过native的_setDataSource设置到下面去
Android_media_MediaPlayer.cpp
在JNI注册表中将_setDataSource方法映射成 android_media_MediaPlayer_setDataSourceFD方法
android_media_MediaPlayer_setDataSourceFD
2. process_media_player_call是检测调用的返回值的,如果返回值有一些其他的异常则抛出异常。
process_media_palyer_call
MediaPlayer.cpp
MediaPlayer::attachNewPlayer
1.将 MediaPlayer的当前状态保存在mCurrentState变量中
MediaPlayerService::Client::setDataSource
MediaPlayerFactory::getPlayerType
GET_PLAYER_TYPE_IMPL
getDefaultPlayerType
MediaPlayerService::Client::setDataSource_pre
MediaPlayerService::AudioOutput::AudioOutput
MediaPlayerService::Client::createPlayer
MediaPlayerFactory::createPlayer
sp<MediaPlayerBase> createPlayer
NuPlayerDriver::setDataSource
NuPlayer::setDataSourceAsync
NuPlayer::GenericSource::GenericSource
NuPlayer::GenericSource::setDataSource
NuPlayer::GenericSource::resetDataSource
至此,setDataSource的流程就讲完了。
上一节讲了setDataSource方法,现在开始讲prepareAsync的流程
prepareAsync
prepareAsync在JNI中的映射为android_media_MediaPlayer_prepareAsync
android_media_MediaPlayer_prepareAsync
MediaPlayer::prepareAsync
MediaPlayer::prepareAsync_l
MediaPlayerService::Client::setParameter
MediaPlayerService::Client::setAudioStreamType
MediaPlayerService::Client::prepareAsync
NuPlayerDriver::prepareAsync
NuPlayer::prepareAsync
在onMessageReceived中接收到kWhatPrepare的消息后执行mSource->prepareAsync,之前获取到的Source为GenericSource。
NuPlayer::GenericSource::prepareAsync
NuPlayer::GenericSource::onMessageReceived
NuPlayer::GenericSource::onPrepareAsync
NuPlayer::GenericSource::initFromDataSource
这里出现了三大组件的另外一个MediaExtractor分离器。并且将数据分离开来了,将视频的数据分到mVideoTrack,把音频的分到mAudioTrack。所以上层调用prepare的时候耗时是消耗在这里。他需要分离出数据,解析一部分头信息,一些比较复杂的格式,需要较长的时间。
MediaPlayer.java
Android_media_MediaPlayer.cpp
android_media_MediaPlayer_start
MediaPlayer::start
1.调用播放器的start方法,前面我们获取到的播放器为NuPlayer,所以这里调用的是NuPlayer的start方法
NuPlayer::start
NuPlayer::onStart
NuPlayer::postScanSources
1.发送kWhatScanSources消息
处理消息kWhatScanSources,根据情况初始化音频解码器和视频解码器(需要在audio解码器之前实例化video解码器,因为成功初始化视频解码器可能会改变音频解码器的深度缓冲模式)
NuPlayer::instantiateDecoder
至此 Nuplayer里面的四大组件都准备好了。有GenericSource负责输入数据,MediaExtractor负责分离数据,MediaCodec负责解析数据,Renderer负责输出数据。
MediaCodec::init
MediaCodec::GetCodecBase
ACodec::ACodec
1.在ACodec的构造中将其状态转换为UninitializedState
MediaCodec::onMessageReceived
ACodec::initiateAllocateComponent
ACodec::UninitializedState::onMessageReceived
ACodec::UninitializedState::onAllocateComponent
1.调用OMXClient::connect(),通过binder机制获得MediaPlayerService和MediaCodecService,然后通过MediaPlayerService和MediaCodecService来创建OMX的实例(这样OMXClient就获得了OMX的入口,就可以通过binder机制来获得OMX提供的服务,也就是说OMXClient是android中openmax的入口)
2. 调用OMX::allocateNode
3. 向MediaCodec发送kWhatComponentAllocated消息,在消息处理中将MediaCodec状态设为INITIALIZED
Omx::allocateNode
OMXMaster::makeComponentInstance
SoftOMXPlugin::makeComponentInstance
NuPlayer::DecoderBase::init
NuPlayer::DecoderBase::configure
NuPlayer::DecoderBase::onMessageReceived
NuPlayer::Decoder::onConfigure
MediaCodec::configure
MediaCodec::onMessageReceived
ACodec::initiateConfigureComponent
ACodec::LoadedState::onMessageReceived
ACodec::LoadedState::onConfigureComponent
ACodec::configureCodec
CodecCallback::onComponentConfigured
MediaCodec::onMessageReceived
MediaCodec::start
MediaCodec::onMessageReceived
ACodec::initiateStart
ACodec::LoadedState::onMessageReceived
ACodec::LoadedState::onStart
ACodec::IdleToExecutingState::onOMXEvent
ACodec::ExecutingState::resume
ACodec::BaseState::postFillThisBuffer
ACodecBufferChannel::fillThisBuffer
BufferCallback::onInputBufferAvailable
NuPlayer::Decoder::onMessageReceived
NuPlayer::Decoder::handleAnInputBuffer
3.调用函数NuPlayer::DecoderBase::onRequestInputBuffers,处理是否需要更多的数据。其中会调用NuPlayer::Decoder::doRequestBuffers,若返回true则需要更多的数据,则会产生新消息kWhatRequestInputBuffers,消息处理中又将调用onRequestInputBuffers。(实际获取更多缓冲的操作在下面ACodec部分完成)
MediaCodec::getInputBuffer
2.1 NuPlayer::Decoder::onInputBufferFetched
2.2 MediaCodec::queueInputBuffer
2.3 MediaCodec::onMessageReceived
1. 调用onQueueInputBuffer
NuPlayer::DecoderBase::onRequestInputBuffers
NuPlayer::DecoderBase::onMessageReceived
1.在OMX发送OMX_EventCmdComplete事件后会调用到ACodec::ExecutingState::resume函数,在resume中调用ACodec::BaseState::postFillThisBuffer前会先调用函数ACodec::ExecutingState::submitOutputBuffers,即在获取输入数据前会先把输出端的数据提交出去。
(2).然后调用SimpleSoftOMXComponent::fillThisBuffer产生kWhatFillThisBuffer消息,消息处理中实际的组件就要调用onQueueFilled函数(实际组件继承自SimpleSoftOMXComponent)。
(3). 接着会调用SoftOMXComponent::notifyFillBufferDone使用OMX的回调机制,闭环发送消息到OMX客户端ACodec。
(4). 之后调用到OMXNodeInstance:: OnFillBufferDone 函数,其又会调用OMX:: OnFillBufferDone ,然后在其中会发送omx_message:: FILL_BUFFER_DONE消息,ACodec中收到该消息(CodecObserver中先收到,但只设置消息)调用ACodec::BaseState:: onOMXFillBufferDone 。
(5).在onOMXFillBufferDone中获取PortMode,为RESUBMIT_BUFFERS则首先如果需要继续调用到IOMX的fillBuffer 填充输出缓冲重复做相关操作,接着ACodec又会生成一个kWhatOutputBufferDrained消息存在reply中,作为kWhatDrainThisBuffer消息的返回消息(notify->setMessage(“reply”, reply);),然后向MediaCodec发送消息kWhatDrainThisBuffer,消息处理中调用函数MediaCodec::onOutputBufferAvailable()通知NuPlayer::Decoder有可用的output buffer,其中会设置消息的callbackID为CB_OUTPUT_AVAILABLE,同时设置index,接着NuPlayer::Decoder接收到该CB_OUTPUT_AVAILABLE消息,在消息处理中调用NuPlayer::Decoder::handleAnOutputBuffer,在其中会进行如下处理:
c. 在kWhatRenderBuffer消息处理中会调用NuPlayer::Decoder::onRenderBuffer,在其中根据情况调用函数MediaCodec::renderOutputBufferAndRelease渲染并释放,或者调用MediaCodec::releaseOutputBuffer不渲染直接释放,两中情况都会产生kWhatReleaseOutputBuffer消息,该消息处理中调用函数MediaCodec::onReleaseOutputBuffer,其中判断若SoftRenderer非空则进行软件渲染,不然就会通过上面的reply让ACodec去硬件渲染,在kWhatOutputBufferDrained消息处理就会中调用到函数ACodec::BaseState::onOutputBufferDrained进行真正的硬件渲染。
前面忘了写AudioTrack创建的过程,这里补充一下
第二次在prepareAsync调用中
2. 这里会将播放器的seek调整到0,同时播放器的状态切换为STATE_STOPPED_AND_PREPARING
3. 消息发往NuPlayerDriver在构造的时候开启的线程"NuPlayerDriver Looper"
4. 消息继续发往子线程处理
如上会完成两件重要的事情,一个是调用determineAudioModeChange完成AudioTrack的创建,另外就是创建音频的decoder,我们当前只关注AudioTrack的创建
frameworks\av\media\libmediaplayerservice\nuplayer\NuPlayerRenderer.cpp
如上消息发往Renderer的子线程NuPlayerRenderer处理,之后调用onOpenAudioSink
frameworks\av\media\libmediaplayerservice\MediaPlayerService.cpp
如上完成了AudioTrack的创建
文章浏览阅读7.1k次,点赞7次,收藏37次。1、原理图库可以随便画,只要相应的相应的管脚有就可以2、原理图库的管脚标数和pcb图库的管脚是一一对应的3、画pcb图库的时候,元件的长宽要适当,可以设置格子的大小来便于设置画出pcb图库的大小。管脚的标数是和原理图库是一一对应的。4、画原理图库的时候,元件必须摆放在画板中心,再保存。否则话pcb原理图的时候,器件总是拖不进去。5、画pcb图库的时候要设置参考点,否则在生成的印制电..._pcb怎么画斜线
文章浏览阅读630次。出现问题:ValueError: Dimension 1 in both shapes must be equal, but are 28 and 324. Shapes are [1024,28] and [1024,324]. for ‘Assign_682’ (op: ‘Assign’) with input shapes: [1024,28], [1024,324].这是由于维度的原因不同所造成。修改了train.py 的第60行成功!如果还未成功,看几个地方是否一样:1 train._valueerror: dimension 1 in both shapes must be equal, but are 324 and 12. sh
文章浏览阅读1.1w次。var json = eval("("+data+")");//将json类型字符串转换为json对象注:https://www.cnblogs.com/yuxiaona/p/5853732.html
文章浏览阅读793次,点赞7次,收藏9次。线性空间(也叫向量空间)、线性运算_线性空间定义
文章浏览阅读1.1k次。2、pip config set global.index-url http://mirrors.aliyun.com/pypi/simple/ #修改配置文件。原本的pip源一般为国外源,在下载第三方库的速度很慢,更改pip源可以快速提高下载速度。清华大学:https://pypi.tuna.tsinghua.edu.cn/simple。阿里云:http://mirrors.aliyun.com/pypi/simple。豆瓣:http://pypi.douban.com/simple。_pycharm更换pip源
文章浏览阅读1.3w次,点赞9次,收藏35次。最近开发项目时配置代理过程中遇到一个非常低级的错误,导致配置完代理后,项目运行请求接口一直是404;并同时因为这个低级错误,自己对前端vue项目的代理配置又混乱,直至发现问题后才对代理配置清晰明了起来。本文简单记录问题解决方式及自己对vue项目中的代理配置一点小理解,避免日后再次踩坑。vue项目中涉及的文件简单描述:1、该项目的后台的服务地址为:http://10.10.10.10/aa2、现在请求一个后台的验证码接口为: /code/img3、vue项目中环境配置(.env.developme._axios加上baseurl反向代理就不生效
文章浏览阅读936次。之前发了很多有关C/C++项目的文章。但是对于C语言的学习,需要自己亲自敲一些代码才能够学好C语言。在这里讲解一下简单的C语言程序(代码),希望自己能够在自己的电脑上敲几遍。a与b的算术运算描述:输出a和b的初始化值的简单算术运算。代码:输出结果:分析:printf函数是将双引号中的内容输出到弹出框中,其中因为a和b的数据类型都是int型,所以运算结果都要用%d的形式输..._简单的c语言代码解析
文章浏览阅读3.8k次。1.k-means算法的思想k-means算法是一种非监督学习方式,没有目标值,是一种聚类算法,因此要把数据划分成k个类别,那么一般k是知道的。那么假设k=3,聚类过程如下:随机在数据当中抽取三个样本,当做三个类别的中心点(k1,k2,k3);计算其余点(除3个中心点之外的点)到这三个中心点的距离,每一个样本应该有三个距离(a,b,c),然后选出与自己距离最近的中心点作为自己的标记,形成三个簇群;..._kmeans 计算类内平均距离
文章浏览阅读1.7k次。前端使用<link href="https://fonts.googleapis.com/css2?family=Material+Icons" rel="stylesheet">由于访问fonts.googleapis.com不稳定,所以经常出现图标访问不到_material icons 无法访问
文章浏览阅读647次。项目开发中,在做mybatis动态查询时,遇到了一个问题:mysql在进行like模糊查询时,输入英文可以正常检索出结果,但是输入中文后检索得到的结果为空。由于是使用get方式请求,所以为了确保中文不乱码,在控制台接收到请求参数后,对中文进行了一次编码。try {realname = new string(realname.getbytes("gbk"), "utf-8");} catch (un..._通过java查询mysql 模糊查询中文失效
文章浏览阅读1.8k次。第0步:声明一个线程、一个事件CWinThread* m_hThread; //接收线程的句柄HANDLE hStartEven; //第一步:定义自己的消息#define MY_MESSAGE WM_USER+100第二步:在发送消息的线程中//得到需要传输的数据 CString str; GetDlgItemText..._mfc中主进程和子线程共享数据
文章浏览阅读7.7k次,点赞3次,收藏12次。2020年第二届“网鼎杯”网络安全大赛 白虎组 部分题目Writeup2020年网鼎杯白虎组赛题.zip下载https://download.csdn.net/download/jameswhite2417/124212670x00 签到操作内容:完成游戏,通过第7关,让提交队伍token值提交后获得flag通过qq截图,文字识别FLAG值:flag{f6e5************************3112}0x01 hidden操作内容:.._网鼎杯网络安全大赛比赛题目