爱板网的新老用户,告诉你一个好消息,爱板网(www.eeboard.com)将在近期并入电路城(www.cirmall.com)网站,我们将爱板网中丰富的开发板资料与电路城大量优质的电路方案相结合,旨在为广大工程师朋友打造一站式的技术资源库,你所需的电路设计技巧、开发板评测、电子产品拆解、硬件解决方案,都可以在合并后的电路城网站找到,助力你的技能进阶。让我们一起期待一个全新的体验吧!
X
现在的位置: 首页资讯>正文

人工智能权衡:准确性还是稳健性?

2019年01月30日 作者: 暂无评论 1,625+ 0

东京 - 任何准备根据其准确性选择AI模型的人都可能想再考虑一下。根据IBM Research的研究,一个关键问题是AI模型对敌对攻击的抵抗力。

与其他研究机构合作的IBM研究人员正在发表两篇关于AI漏洞的新论文。一项研究的重点是如何证明AI对抗对抗性攻击的稳健性。另一个检查了测试已部署的AI模型的弹性的有效方法。

当然,准确性是人工智能的圣杯。如果计算机无法击败人类,为什么要打扰AI呢?实际上,人工智能识别图像并对其进行分类的能力在过去几年中得到了极大的改善。正如2010年至2017年期间ImageNet竞赛结果所证明的那样,计算机视觉已经超越了人类的能力。AI在数据集中对对象进行分类的准确性在短短七年内从71.8%跃升至97.3%。

大大小小的公司都使用ImageNet作为针对数据集的图像分类算法的基准。赢得ImageNet竞赛已经赋予了AI算法优势的吹嘘权。

稳健性差距

然而,科学界已开始关注最近的研究,强调训练有素的深度神经网络与对抗性实例之间的稳健性差距。

去年夏天,包括IBM研究院,加州大学戴维斯分校,麻省理工学院和JD AI Research在内的一组研究人员发表了一篇题为“稳健性成本是否准确? - 18种深度图像分类模型鲁棒性的综合研究。“

研究人员告诫说,IBM的Thomas J. Watson研究中心AI基金会的研究人员Pin-Yu Chen表示,“仅仅追求高精度AI模型可能会让我们陷入困境。”该团队的基准测试18 ImageNet模型“揭示了在准确性和稳健性方面的权衡。”

由于AI模型的脆弱性,MIT-IBM Watson AI Lab的研究人员,包括陈,在本周提交了一篇新论文,专注于AI稳健性认证。“就像带有防水数字的手表一样,我们希望提供一种有效的方法来证明卷积神经网络[CNNs]的抗攻击水平,”陈说。

为什么这很重要?这样做是因为对自然图像的视觉上无法察觉的扰动会误导图像分类器向错误分类。陈说:“考虑使用AI的安全关键设置。”使用AI的自动驾驶汽车应该很容易识别停车标志。然而,当附近光源的标志上出现轻微的视错觉时,自动驾驶汽车将停车标志视为限速标志,陈说。“在这种情况下,光源已成为典型的对抗性例子。”

随着神经网络被教授更多图像,它会记住它需要分类的内容。“但我们并不一定期望它强劲,”陈说。“准确度越高,它就越脆弱。”

对于安全至关重要的自动驾驶汽车,验证分类稳健性至关重要。

目前可用的技术通常仅限于认证小规模和简单的神经网络模型。相比之下,IBM-MIT联合团队找到了一种方法来证明广受欢迎的一般CNN的稳健性。

据Chen介绍,该团队提出的框架可以“处理各种架构,包括卷积层,最大池层,批量归一化层,残余块以及一般激活函数”。陈说:“我们已经创建了针对CNN优化的验证工具。”我们已经创建了针对CNN优化的验证工具。该团队的目标是“向你保证对抗性攻击无法改变人工智能的预测。”

陈还指出,对抗性的例子可以来自任何地方。它们存在于物理世界,数字空间以及从图像和视频到语音和数据分析的各种领域。新开发的认证框架可以应用于各种情况。他解释说,从本质上讲,它旨在提供“独立于攻击和模型不可知”的指标。

该团队还声称其CNN认证框架具有计算效率。据IBM Research称,它利用卷积层的特殊结构,报告“与最先进的认证算法相比,速度提高了10倍以上”。

Chen告诉我们,“我们已经评估了每个层的输入和输出关系,以创建一个快速,可认证且通用的矩阵。”

攻击黑盒神经网络?

Chen也是另一篇论文的作者之一,该论文主要关注一种更有效的AI稳健性测试方法,特别是在“黑盒”神经网络中。

不难想象有恶意的人 - 他非常熟悉AI模型 - 会发现系统的弱点并利用其漏洞来制造攻击。这属于在“白盒”设置中生成的对抗性示例。

但假设您已经拥有一个即将使用服务提供商部署的自我培训的AI /机器学习系统。这可能会产生虚假的安全感,因为很少有参与者可以访问底层的AI模型,更不用说了解它是如何工作的。您可以假设在“黑盒子”设置中操纵和攻击AI模型需要太多耗时的模型查询,这使得攻击极不可能。

陈某告诫说,你这样做是错的。IBM Research和密歇根大学最近开发了一种测试AI系统的新方法 - 可能已经部署 - 以确定它们对抗攻击的脆弱性。

Chen解释说,这种新方法命名为AutoZOOM,或基于自动编码器的零阶优化方法,提供了一种“实用场景”,可以在黑匣子环境中攻击AI模型。

正如陈解释的那样,在一个“白盒子”世界中,攻击者可以利用AI模型架构的知识和推理的模型权重来开发对抗性的例子。在黑匣子版本中,攻击者的选择是有限的。攻击者只能访问已部署的AI模型的输入 - 输出响应,就像常规用户一样(例如,上传图像并从在线图像分类API接收预测)。因此,攻击者必须采用蛮力方法,发送大量模型查询来制作对抗性示例。

陈先生解释说,使用先前开发的Zeroth Order Optimization(ZOO)方法,需要100多万个模型查询才能找到对抗的百吉饼图像。他指出,使用新设计的AutoZOOM框架,只需要成千上万的查询。

AutoZOOM中使用的两种新技术包括:1)“减少查找对抗性示例的复杂性并减少对黑盒AI模型的查询次数”的方法,以及2)“仅使用a引导生成对抗性示例的技术”根据IBM Research的说法,在攻击过程的每次迭代中都很少有模型查询。您可以使用“自动编码器,可以使用未标记的数据离线训练,也可以使用双线调整大小操作来加速”。

Chen称AutoZOOM是一种测试AI模型稳健性的实用方法。“您可以将此方法应用于已部署的AI系统,以查看它是否健壮。”

实际上,在“机器学习即服务”变得越来越普遍和普及的时候,评估人工智能的稳健性是必要的。这种服务旨在使用户能够轻松访问功能强大的机器学习工具,以执行各种任务。

商业服务包括Google Cloud Vision API和Clarifai.com,旨在为公众提供训练有素的图像分类器。用户可以以低价格上传并获得手头图像的类别预测结果。“然而,现有和新兴的机器学习平台及其低模型访问成本引发了越来越多的安全问题,因为它们提供了一个测试恶意企图的理想环境,”AutoZOOM报告的作者警告说。“更糟糕的是,当这些服务用于构建派生产品时,风险可能会被放大,以便攻击可以利用固有的安全漏洞。”

正如IBM研究院人工智能副总裁兼IBM Q的Dario Gil 去年在DAC发表的主题演讲中所解释的那样,狭义人工智能与更广泛的人工智能(以及最终的通用人工智能)之间的关系“仍然相当遥远。”仍然必须受到攻击的关键人工智能研究领域包括公平性,可解释性和血统。陈说,人工智能的稳健性是第四支柱。

这两篇论文提醒人们,使用AI,训练数据可能会产生噪音和偏差。没有人完全理解并且可以解释神经网络如何学习预测。神经网络架构可能是多余的,并导致脆弱点。黑匣子系统可能很强大,但拥护者不能对其对抗攻击的潜在脆弱性视而不见。

PS:上面提到的两篇论文都是在本周在檀香山举行的AAAI 2019人工智能会议上进行口头报告。

热门推荐:

恩智浦LPC54018物联网模块OM40007,让你的方案更快落地

德州仪器MSP-EXP430FR2355 LaunchPad开发套件,让设计开发简单直观

Microchip Technology SR087电源演示板,开关电源新选择

博世BMI088高性能IMU,和你一起改善飞行和导航体验

罗姆半导体SensorShield-EVK-003评估套件,一块“有种有料”的板子

Intel RealSense深度摄像头D400系列“更便捷的秘密”的等你来发现

Analog Devices EVAL-ADXL362评估板给开发设计者更多选择

Cypress Semiconductor PSoC6 BLE开发套件,美好的设计即将发生

STMicroelectronics VL53L1X飞行时间测距传感器,绝对测距无惧颜色和反射

NXP i.MX 8MQuad评估套件MCIMX8M-EVK ,一款开箱即用的高性能开发工具

英飞凌IM69D120和IM69D130 XENSIV MEMS麦克风,为低失真和高信噪比而设计

原文地址:https://www.eeboard.com/news/ai-357/

搜索爱板网加关注,每日最新的开发板、智能硬件、开源硬件、活动等信息可以让你一手全掌握。推荐关注!

【微信扫描下图可直接关注】

 

发表评论

相关文章

定义机器人未来的INNFOS SCA智能柔性执行器

谈到人工智能,那不得不提机器人,无论是服务型机器人还是陪伴型机器人已经在市场屡见不鲜,除了赋予机器人灵魂的算法之外,基础的硬件底层是机器人所能达到最大灵活性重要的依赖源,然后要...

华为Atlas智能计算平台苏州人工智能博览会重磅上市

在苏州人工智能博览会上,华为带来了重磅的人工智能产品,其中适合目前流行的边缘计算处理的Atlas人工智能计算平台系列足以让人为之赞叹。 华为Atlas人工智能计算平台基于华为昇腾系列AI处理...

颠覆传统,具备 AI 功能的单片机开发板评测

当前 AI 是个热门的话题,研究学习 AI 的人越来越多,其实 AI 对计算机/显卡硬件要求很高,或者需要专用的神经网络加速模块,你是否想过用单片机/MCU来实现 AI 的一些功能。 这次测试的两款...

加速AI应用终端快速落地——百度大脑的深度学习解决方案EdgeBoard

上周在苏州的人工智能博览会上见到了一个非常有意思的东西,百度大脑的EdgeBoard,这是百度与赛灵思合作共同打造的一款高性能终端计算卡。 EdgeBoard是面向深度学习加速的软硬一体开发、效果...

比树莓派4更棒的深度学习单板计算机英伟达Jetson Nano

上一篇测试了谷歌的Coral USB加速棒,本篇又来一个边缘计算的实力干将英伟达Jetson Nano,原本想着可能要好几天才能玩起来,不过大概用了3个小时左右就可以正常跑起来了,从入手到实际体验还...