机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等学科。专门研究计算机如何模拟或者实现人类的学习行为,来获取新的知识或技能,并重组已有的知识结构使之不断改善自身的性能。他是人工智能核心,是使计算机具有智能的根本途径。
深度学习(DL,Deep Learning)是机器学习(ML,Machine Learning)领域中一个新的研究方向,他被引入机器学习使其更接近于最初的目标——人工智能(AL,Aritifical Intelligence)。
1943年由神经科学家麦卡洛克和数学家皮兹建立了神经网络和其数学模型,称为MCP模型,是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型:输入信号线性加权、求和然后非线性激活,也就诞生了“模拟大脑”,人工神经网络的大门由此开启。
90年代中期,支持向量机算法(SVM算法)、ada Boost等各种浅层机器学习模型被提出,SVM也是一种有监督的学习模型,应用于模式识别,分类以及回归分类等。它的提出再次阻碍了深度学习的发展。
1997年,LSTM模型被发明,但是没有引起足够的重视。
2006年,加拿大多伦多教授、机器学习领域泰斗、神经网络之父杰弗里·辛顿和他的学生罗斯兰·萨拉赫丁诺夫提出了深层网络训练中梯度消失问题的解决方案:无监督预训练对权值进行初始化+有监督训练微调,这也是首次提出了深度学习的概念。2011年,ReLU激活函数被提出,该激活函数能够有效的抑制梯度消失问题。
2011年以来,微软首次将深度学习应用在语音识别上,取得了重大突破。微软研究院和谷歌的语音识别研究人员先后采用DNN技术降低语音识别错误率20%~30%,是语音识别领域十多年来最大的突破性进展。
2012年,DNN技术在图像识别领域取得惊人的效果,在ImageNet评测上将错误率从26%降低到15%。在这一年,DNN还被应用于制药公司的DrugeActivity预测问题,并获得世界最好成绩。
2012-2017年,杰弗里·辛顿为了证明深度学习的潜力,首次参加ImageNet图像识别比赛,其通过构建的CNN网络AlexNet一举夺得了冠军。
2016年3月,由谷歌(Google)旗下DeepMind公司开发的AlphaGo(基于深度学习)与围棋世界冠军、职业九段棋手李世石进行围棋人机大战,以4比1的总比分获胜;
2016年末2017年初,该程序在中国棋类网站上以“大师”(Master)为注册帐号与中日韩数十位围棋高手进行快棋对决,连续60局无一败绩;2017年5月,在中国乌镇围棋峰会上,它与排名世界第一的世界围棋冠军柯洁对战,以3比0的总比分获胜。围棋界公认阿尔法围棋的棋力已经超过人类职业围棋顶尖水平。
近些年随着数据量的增加、分布式计算的发展以及硬件比如说GPU的更新换代,深度学习的应用日渐火热,其影响力不断扩大。
神经网络算法可以说是当下使用最广泛的算法,其中误差反向传播算法是神经网络中最有代表性的算法,也是迄今为止使用最多、最成功的算法。相比于数学微分计算神经网络权重的梯度,误差反向传播算法能够高效计算权重参数的梯度。但是在图像识别和语音识别等场合,深度学习的方法几乎都以卷积神经网络为基础,相比于全连接层将全部的输入数据作为相同的神经元(同一维度的神经元)处理,卷积层能够以三维数据的形式接收输入数据,并且同样以三维数据的形式输出至下一层,可以利用与形状相关的信息。
BP算法由信号的正向传播和误差的反向传播两个过程组成。
正向传播时,输入样本从输入层进入网络,经隐含层逐层传递至输出层,如果输出层的实际输出与期望输出不同,则转至误差反向传播;如果输出层的实际输出与期望输出相同,结束学习算法。
反向传播时,将输出误差(期望输出与实际输出之差)按原通路反传计算,通过隐含层反向,直至输入层,在反传过程中将误差分摊给各层的各个单元,获得各层各单元的误差信号,并将其作为修正各个单元权值的依据,这一计算过程使用梯度下降法完成,在不停的调整各层神经元的权重和偏置后,使误差信号减小到允许的过程。
3.2.1 卷积神经网络原理
目前卷积神经网络(Convolutional Netural Network,CNN或ConvNet)一般是由卷积层、汇聚层和全连接层交叉堆叠而成的前馈神经网络,卷积神经网络有三个结构上的特性:局部连接、权重共享以及汇聚。
一个完整的卷积神经网络基本上由输入层、卷积层、池化层(汇聚层)、全连接层和SoftMax层这五种结构组成。
输入层是整个卷积神经网络的输入,一般代表一张图片的像素矩阵。
卷积层是整个神经网络的核心,一般将前一层的神经网络上的矩阵卷积转化为下一层神经网络的矩阵,并增加节点矩阵的深度,他的作用是提取一个局部区域的特征以达到更深层次抽象特征表达的目的,不同的卷积核相当于不同的特征提取器。
池化层的作用是进行特征选择,降低特征数量,从而减少参数数量。卷积层虽然可以显著减少网络中连接的数量,但是卷积后神经元个数并没有减少,如果后面接一个分类器,分类器的输入维数依然很高,很容易出现拟合,为了解决这个问题,可以在卷积层后加上一个池化层,从而降低特征维数,避免过拟合。池化函数一般有两种:最大池化采样和平均池化采样。
全连接层一般位于多次卷积池化处理后,用以给出最后的分类结果。
SoftMax层就是分类器,用以分类,能得到结果的概率分布。
卷积神经网络中,参数为卷积核中权重以及偏置,和全连接前馈神经网络类似,卷积网络也可以通过误差反向传播算法来进行参数学习。
3.2.2 典型卷积神经网络
LeNet-5和AlexNet是广泛使用的典型深层卷积神经网络。
AlexNet是第一个现代深度卷积网络模型,其首次使用很多现代深度卷积网络的技术方法:①利用CUDA加速深度卷积网络的训练,利用GPU强大的并行计算能力,处理神经网络训练时大量的矩阵运算;②采用ReLU作为非线性激活函数,其效果超过Sigmoid,解决了梯度消失问题;③使用Dropout随机忽略一部分神经元,防止过拟合;④使用最大池化采样,此前普遍使用平均池化采样;⑤使用数据增强来提高模型准确率。模型包括五个卷积层、三个池化层和三个全连接层,输入为2242243的图像,输出为1000个类别的条件概率。
①第一层输入层之后的第二层为卷积层,使用两个大小为1111348的卷积核,实际上是96个1111的卷积核,步长为4,零填充为3,得到两个大小为555548的特征图,可训练参数数量为96*(11113+1)=34994.
②第三层为池化层,使用大小为33的最大池化采样操作,步长为2,得到两个272748的特征图。
③第四层为卷积层,使用两个大小为5548128的卷积核,也就是256个大小为55的卷积核,步长为1,零填充为2,得到两个大小为2727128的特征图,可训练参数数量为256(5596+1)=614656.
④第五层为池化层,使用大小为33的最大池化操作,步长为2,得到大小为1313128的特征图。
⑤第六层为卷积层并且将两个路径融合,使用大小为33256384的卷积核,步长为1,零填充为1,得到两个大小为1313192的特征图,可训练参数数量为384*(33256+1)=885120。
⑥第七层为卷积层,使用两个大小为33192192的卷积核,步长为1,零填充为1,得到两个大小为1313192的特征图,可训练参数数量为384(33394+1)=1327488。
⑦第八层为卷积层,使用两个33192128的卷积核,步长为1,零填充为1,得到两个为1313128的特征图,可训练参数数量为256(33394+1)=884992。
第九层为池化层,使用大小为33的最大池化操作,步长为2,得到两个大小为66*128的特征图。
⑧后面的三层全连接层神经元数量分别是:4096、4096和1000,可训练参数数量分别为:37752832、16781312和4100096。
AlexNet网络参数总共为62381490!
深度学习本质上是层次特征提取学习的过程,他通过构建多层隐含神经网络模型,利用海量数据训练出模型特征来提取最有利的参数,将简单的特征组合抽象成高层次的特征,以实现对数据或实际对象的抽象表达。
深度学习在医疗领域最激动人心的应用,无疑是在医学诊断方面的应用。谷歌的DeepMind和IBM的watson,都在这方面积极布局,尤其是watson,在某些特定领域,其诊断精度已经超过了人类专家。由于医疗中病例大多数为非结构化文本数据,因此采用多层限制性波尔兹曼机(RBM)堆叠成的深度信念网络(DBN),可以自动提取文本病例中的特征,可以有效的学习病历中的知识,同时可以高效地进行诊断。CNN 可以在多种医疗影像上训练,包括放射科、病理科、皮肤科和眼科。信息从左到右传播。输入图像馈入 CNN 后,网络会使用卷积、池化、全连接层等简单操作按顺序将数据转换成扁平向量。输出向量的元素表示疾病出现的概率。在训练过程中,网络层的内部参数会迭代调整,以提高准确率。
无人驾驶也称为无人车、自动驾驶汽车,是指车辆能够依据自身对周围环境条件的感知、理解,自行进行运动控制,且能达到人类驾驶员驾驶水平。深度学习技术带来的高准确性促进了无人驾驶车辆系统在目标检测、决策、传感器应用等多个核心领域的发展。如卷积神经网络,目前广泛应用于各类图像处理中,非常适用于无人驾驶领域。其训练测试样本是从廉价的摄像头中获取的,这种使用摄像机取代雷达从而压缩成本的方法广受关注。CNN是可以理解图片中结构关系的神经网络,可以精确识别图像中的行人、车辆、路牌等等,同时还需要有实时性,RCNN以及后续的Fast-RCNN以及Faster-RCNN逐步做到了能够实时给出图像中物体位置。更进一步,有人开始使用CNN来分割图像,试图估测出每个部分与摄像头的距离。
语音识别指的是将语音信号转化为文字序列,它是所有基于语音交互的基础。对于语音识别而言,高斯混合模型(GMM)和马尔科夫模型(HMM)曾占据了几十年的发展历史。这些模型有很多优点,最重要的就是他们可以用数学来描述,研究人员可以合理地推导出适用某个方向的可行性办法。在1990年前后,判别模型获得了比基于最大似然估计的方法(GMM)更好的性能。尤其在2012年以后,深度学习在语音识别领域获得了很大的发展,CNN,RNN,CRNN等结构在语音识别性能上取得了一次又一次的突破。随着研究的深入和硬件设备的不断更新,一些端到端模型取得了最先进的性能,比较有代表性的是之前提到的sequence-to-sequence模型(CTC,LAS)。随着语音识别性能的不断提升,工业界也产出了很多应用成果,比如虚拟助手:Google Home, Amazon Alexa and Microsoft Cortana;语音转录:YouTube的字幕生成等。
近年来,基于深度学习模型的算法已逐步改变人类处理现实问题的方式,深度学习在社会和生活等各个领域的应用呈现高速增长的趋势。由于深度学习领域的研究,深度学习模型成功地应用于各种实际应用场景中,如医疗,自动驾驶,图像处理分类和检测,语音和音频处理,网络安全。
随着各大研究机构和科技巨头相继对深度学习领域投入了大量的资金和精力,并取得了惊人的成就,但是我们不能忽略的一个重要问题是,深度学习还有着局限性:
深度学习的不可解释性;深度学习学到的是输入与输出特征之间的复杂关系,而不是因果关系的表征,训练神经网络获得的参数与实际任务之间的关联性非常模糊。这是一个黑盒模型,要使他们具有说服力,首先要解决的问题是使他们具有可解释性。虽然关于可解释的人工智能领域的研究应运而生,但是后面仍有很长的路要走。
深度学习需要大量数据;深度学习的性能的提升取决于数据集的大小,因此深度学习通常需要大量的数据作为支撑,如果不能进行大量有效的训练,往往会导致过拟合现象的产生。
综上所述尽管人类在深度学习领域取得了不小的成就但是距离人类级别的人工智能仍有着很大距离。目前为了解决深度学习面临的挑战,人们已经采取了多项举措来解决问题。所以对于深度学习的发展,我们也不要过于悲观。
文章浏览阅读600次。为了应付暑期实习在线机试,本人进行了为期两天的临时抱佛脚突击复习(佛:救不了,复习两天,瞧不起谁呢。。。),当我看到熟悉的oj页面时我确信,这玩意儿就改该用C语言!染后放弃pycharm和anaconda开始了从零开始的C语言生活。首先我选择了VScode作为编译器(作死的开始),本来anaconda会自带VScode,但是这次下载的不知咋回事没有不要紧!让我们从零开始(作死)。官网下载V..._vscode 安装c++
文章浏览阅读432次。Matlab:导入文本文件_matlab表格怎么录入汉字
文章浏览阅读2.8k次。华为数通硬件四部李昂[email protected]://lllaaa.cublog.cn看FreeBSD-7 的内核代码有一段时间了,但是一直没有能够总结一下。由于没有写文档,很多地方都是一带而过,并没有深入分析。为了逼自己能够分析完整个malloc 过程的代码,我决定一边分析一边记录自己的分析笔记。一提到内存分配,自然会想到malloc 和free 这对双胞胎。在FreeBSD 内核里_freebsd uma和dlmalloc
文章浏览阅读1.3w次。Http1.1中新增加内容, Transfer-Encoding: chunked 译为:分包传输 进行一次请求时,如果数据量较大,为了加快页面显示,而采取了分包的策略在.net中WebPag 默认不分包MVC4 默认分包一般简单的服务器交互流程比如,需要服务器返回一个字符串(test),不分包时传回内容为test分包情况下传回内容为4_禁用分块传输transfer_encoding
文章浏览阅读130次。问题:使用类的静态字段和构造函数,我们可以跟踪某个类所创建对象的个数。请写一个类,在任何时候都可以向它查询“你已经创建了多少个对象?”代码:使用构造方法:public class ssyy{ public static void main(String[] args){ ssyy sc=new ssyy(); ..._第三章类与对象课后习题
文章浏览阅读2.1w次,点赞7次,收藏40次。第三名:Unzip OnlineUnzip Online,只需要从浏览器登陆网页端上传压缩文件即可,其支持Rar、Zip、7z、Tar等格式,上传文件最大支持200MB,网站无需注册,可以实时查看破解进度,地址:https://unzip-online.com/。第二名:Lost My PassLost My Pass此网站基本功能都有,其支持从浏览器登陆网页直接上传需破解压缩文件,除了常见了压缩文件破解密码之外,其还支持PDF、Office等加密文件的破解,地址:https://www.l._catpasswd
文章浏览阅读351次。Keyboard shortcuts for LinuxBasic editingCtrl + X Cut line(empty selection)Ctrk + C Copy line(empty selection)Alt + ↓ / ↑ Move line down/up 将当前行向下或..._linux系统的visual studio快捷键
文章浏览阅读1.5k次。matlab实现加减乘除、乘方、开平方、带括号和结果分析的GUI计算器 ,界面如下:有源码,打赏私聊,微信和电话:15653242819。_matlab gui计算器平方
文章浏览阅读334次。由于 Java 的 Serializable 的性能较低,Parcelable 正式在这个背景下产生的,它核心作用就是为了解决 Android 中大量跨进程通信的性能问题。Serializable使用大量反射和临时变量,而Parcelable少许反射通过启动 Activity 过程分析 Parcelable 序列化过程:熟悉这一过程的朋友过程肯定知道,startActivity 方法最终会通过 AMS(ActivityManagerService)完成跨进程通信调用,但是在通信之前先要将数据序列化后进_parcelable会写入磁盘吗
文章浏览阅读929次。 以centos系统为基础,创建的docker容器会乱码,系统为centos8,解决方案查询当前系统的语言包,如果没有 “zh” 开头的中文包,则需要下载locale -a在yum源中查找能安装的中文包yum search Chinese安装中文包yum install langpacks-zh_CN.noarch安装完成后,更改系统的配置localectl set-locale LANG=zh_CN.utf8...
文章浏览阅读147次。相信大家都听说了华为的鸿蒙系统目前已经被实锤了,但是鸿蒙系统究竟什么时候能够用在华为手机上,还是个未知数。不过大家非常好奇鸿蒙系统什么时候能用?鸿蒙系统什么时候能在手机上用?今天小编就带大家一起了解一下。鸿蒙系统什么时候能用前一段时间,华为官方正式对外表态:“华为将会在2020年,华为所有的智能终端设备都将会全面启用华为鸿蒙OS系统,但却将“平板、手机以及电脑这三大类的产品排除在外,这意味着华为鸿..._鸿蒙电脑操作系统什么时候上市
文章浏览阅读10w+次,点赞293次,收藏2k次。①HashMap的工作原理HashMap基于hashing原理,我们通过put()和get()方法储存和获取对象。当我们将键值对传递给put()方法时,它调用键对象的hashCode()方法来计算hashcode,让后找到bucket位置来储存值对象。当获取对象时,通过键对象的equals()方法找到正确的键值对,然后返回值对象。HashMap使用链表来解决碰撞问题,当发生碰撞了,对象将会储存..._hashmap底层原理面试题