现在的位置: 首页资讯>正文

详悉AI 实践者需要掌握的10大深度学习方法

2017年11月21日 作者: 暂无评论 1,442+ 0

本文总结了10个强大的深度学习方法,包括反向传播、随机梯度下降、学习率衰减、Dropout、最大池化、批量归一化、长短时记忆、Skip-gram、连续词袋、迁移学习等,这是AI工程师可以应用于他们的机器学习问题的。

过去10年,人们对机器学习的兴趣激增。几乎每天,你都可以在各种各样的计算机科学课程、行业会议、华尔街日报等等看到有关机器学习的讨论。在所有关于机器学习的讨论中,许多人把机器学习能做的事情和他们希望机器学习做的事情混为一谈。从根本上讲,机器学习是使用算法从原始数据中提取信息,并在某种类型的模型中表示这些信息。我们使用这个模型来推断还没有建模的其他数据。

神经网络是机器学习的一种模型,它们至少有50年历史了。神经网络的基本单元是节点(node),基本上是受哺乳动物大脑中的生物神经元启发。神经元之间的连接也以生物的大脑为模型,这些连接随着时间的推移而发展的方式是为“训练”。

在20世纪80年代中期和90年代初期,许多重要的架构进步都是在神经网络进行的。然而,为了得到好的结果需要大量时间和数据,这阻碍了神经网络的采用,因而人们的兴趣也减少了。在21世纪初,计算能力呈指数级增长,计算技术出现了“寒武纪大爆发”。在这个10年的爆炸式的计算增长中,深度学习成为这个领域的重要的竞争者,赢得了许多重要的机器学习竞赛。直到2017年,这种兴趣也还没有冷却下来;今天,我们看到一说机器学习,就不得不提深度学习。

作者本人也注册了Udacity的“Deep Learning”课程,这门课很好地介绍了深度学习的动机,以及从TensorFlow的复杂和/或大规模的数据集中学习的智能系统的设计。在课程项目中,我使用并开发了用于图像识别的卷积神经网络,用于自然语言处理的嵌入式神经网络,以及使用循环神经网络/长短期记忆的字符级文本生成。

本文中,作者总结了10个强大的深度学习方法,这是AI工程师可以应用于他们的机器学习问题的。首先,下面这张图直观地说明了人工智能、机器学习和深度学习三者之间的关系。AI

人工智能的领域很广泛,深度学习是机器学习领域的一个子集,机器学习又是人工智能的一个子领域。将深度学习网络与“经典的”前馈式多层网络区分开来的因素如下:

  • 比以前的网络有更多的神经元
  • 更复杂的连接层的方法
  • 用于训练网络的计算机能力的“寒武纪大爆炸”
  • 自动特征提取

这里说的“更多的神经元”时,是指神经元的数量在逐年增加,以表达更复杂的模型。层(layers)也从多层网络中的每一层都完全连接,到在卷积神经网络中层之间连接局部的神经元,再到在循环神经网络中与同一神经元的循环连接( recurrent connections)。

深度学习可以被定义为具有大量参数和层的神经网络,包括以下四种基本网络结构:

  • 无监督预训练网络
  • 卷积神经网络
  • 循环神经网络
  • 递归神经网络

在本文中,主要介绍后三种架构。基本上,卷积神经网络(CNN)是一个标准的神经网络,通过共享的权重在空间中扩展。CNN设计用于通过内部的卷积来识别图像,它可以看到图像中待识别的物体的边缘。循环神经网络(RNN)被设计用于识别序列,例如语音信号或文本。它的内部有循环,这意味着网络上有短的记忆。递归神经网络更像是一个层级网络,在这个网络中,输入必须以一种树的方式进行分层处理。下面的10种方法可以应用于所有这些架构。

文章分页: 1 2 3

发表评论

相关文章

被扒光了的 Google Pixel 3/XL,其实本质就是 AI

从 2016 年 10 月 Google Pixel 手机首次发布开始,这家此前专注于搜索和互联网的科技巨头表现出了对硬件的重视,而且这种重视在 2017 年 9 月 Google 对 HTC 相关团队的收购中得以加强。尽...

华为徐直军谈“达芬奇项目”:AI芯片如何做全新架构

10月10日消息,华为副董事长,轮值董事长徐直军在2018年HC大会上,首次公布了华为人工智能完整战略以及发布了两个基于“达芬奇架构”的人工智能芯片。对于传闻的“达芬奇项目”,徐直军首次谈起...

全球最大创客平台创始人: 期待与中国创新碰撞出新的火花

全国双创周暨深圳国际创客周活动吸引了全世界创客的目光。昨日,全球最大创客平台Arduino创始人马西莫·班兹(Massimo Banzi)出席深圳国际创客周开幕式,并在会后举办的“Arduino Back to Chi...

瑞芯微电子在AI芯片及FACE ID的发力,让人工智能商用成了现实

目前科技界炙手可热的两个领域,无疑是人工智能芯片及结构光FACE ID。前者正在多个领域扮演重要角色,并在加快人工智能的应用。后者则以其安全、便捷的验证特性,大面积应用于智能手机等产品...

AI芯时代:“见怪不怪”的人工智能技术爆炸式发展

毫无疑问,人工智能是当今时代的主旋律。在人工智能软件占据人们视线的同时,人工智能技术尤其是深度学习,让各大公司都注意到必须要填补的计算力鸿沟。但其影响在更广泛的行业内渗透只是时...