观察丨瑞莱智慧唐家渝:AI安全风险背后原理何如,怎样应对

2021-12-28 01:23:51 文章来源:网络

近年来,在大算力和海量大数据的驱动下,以深度学习为代表的AI技术飞速发展,以计算机视觉技术为例,依托广阔的应用场景从理论研究走向大规模的应用落地,人脸识别、目标检测等被广泛应用于公共安全、城市交通等领域,推动城市治理的智能化升级。

“但数据驱动的深度学习算法存在不透明、不可解释等局限**,即便是开发者也难以理解其内在的运行逻辑,这就导致系统可能遭受到难以被察觉的恶意攻击。他以对抗样本攻击举例,通过对输入数据故意添加干扰,使肉眼或许难以发现,但却能误导算法以高置信度给出错误输出,”12月27日,瑞莱智慧副总裁唐家渝在第十八届安**会期间举办的第十六届**安防**·技术**上表示。

瑞莱智慧RealAI 副总裁 唐家渝

北京瑞莱智慧科技有限公司成立于2018年7月,是清华大学人工智能研究院发起成立的科技成果转化企业,致力于提供安全可控人工智能基础设施**与解决方案。**科学院院士、清华大学人工智能研究院名誉院长张钹和清华大学计算机系教授朱军共同担任公司首席科学家,清华大学计算机系**士田天出任CEO。

唐家渝继续解释道,这背后的原理在于,深度学习算法是通过对数据集中的示例进行学习从而建立出模型,与人类不同,它没有对先验知识进行合理利用,它的判断取决于样本数据,所以深度学习算法永远无法达到人类的判断水平。如果以一条分界线来类比,在进行决策判断的时候,模型决策的分界线与人类真实决策的分界线并非完全吻合,存在“误差”,因此可通过生成偏差数据,使其在误差空间内,人类能正常判断,但模型却判断错误,从而实现对AI系统的欺**或攻击。

这是深度学习范式下AI应用存在的结构**缺陷,贯穿于AI全生命周期。除了在运行环节对输入数据添加“扰动”,在**开始的模型设计环节,通过在训练数据中添加“污染数据”进行“投毒”,导致模型被埋藏后门,再通过预先设定的触发器激发后门,模型也将输出事先设定的错误结果。

唐家渝表示,通过数据污染、恶意样本攻击等方式对算法进行深层次攻击已经成为趋势,随着AI技术尤其是计算机视觉技术的广泛应用,这一安全风险的真实威胁开始显现。例如,公共安全领域,视频监控、安检闸机等智能安防设备被不法分子攻击,用于躲避追踪、**他人等;交通领域,自动驾驶汽车被干扰“致盲”,引发安全事故等;在金融领域,线上**的人脸**被破解,用于非法**等**行为。

除了算法漏洞,“数据驱动”衍生的安全风险还远不于此。海量人脸数据被恶意采集、滥用,导致用户隐私**漏;**露的人脸照片在表情驱动算法下生成伪造视频,用于攻破人脸核验系统等...如何有效应对人工智能安全风险,保障人工智能安全可控的应用落地成为一项重要课题。

那么应如何寻求解决方案呢?

人工智能应用是集业务、算法、数据于一体的有机整体,涉及训练、检验、运行等生命周期阶段。唐家渝表示,应面向所有关键流程,布局全面且有针对**的安全防御措施。同时他强调,人工智能安全攻防技术在快速演变过程中,新的攻击手段不断出现,除了要解决“近忧”,更要着眼于“远虑”,对于未知威胁进行研判和防范,因此需打造动态升级、科学前瞻的防御理论及技术体系。

瑞莱智慧的解题思路就是建立兼顾“被动”和“主动”的防御机制。唐家渝解释道,被动防御为AI应用部署静态的安全能力,防范已知安全风险,比如对外部访问、输入数据、行为决策等进行检测,为算法模型部署加固防护组件等,提升系统抵御攻击的能力。主动防御则是为补充被动式防御的局限,引入和强化人工智能安全团队力量,以动态防御对未知威胁进行风险预判,构建自适应、自生长的安全能力。

具体而言,目前在被动防御方面,瑞莱智慧推出多款人工智能安全产品:AI安全防火墙,其能够在AI系统运行环节有效检测和抵御对抗样本、深度伪造等新型攻击手段;人工智能安全**RealSafe,集成对抗攻防算法,提供端到端的模型安全检测能力,自动化高效评估AI安全风险,并提供安全**增强方案;隐私保护计算**RealSecure,在数据训练、建模等环节部署数据安全能力,实现“数据可用不可见”。

在主动防御方面,瑞莱智慧则推出人工智能安全靶场RealRange,提供实战化、体系化的一站式人工智能攻防演练服务,基于攻防实战演练将安全风险暴露前置,提前发现和适应瞬息万变的新型攻击和高级威胁,动态提升团队软实力,实现“让风险发生在靶场,让有效防御构建在安全事件之前”。

瑞莱智慧AI安全产品矩阵,可实现对人脸识别、目标检测、图像分类等系统的安全升级,目前已在多个场景得到应用。比如与国内某头部人脸识别支付厂商合作,通过利用AI对抗攻击算法全面发掘人脸识别模型的漏洞,并进一步提供防御加固方案,提升**脸支付的安全**。与某电网企业的合作中,利用RealSafe**自动发掘输电线路危险品识别算法模型的漏洞,通过对抗训练提升算法鲁棒**,确保**基础设施安全**。

**后,唐家渝表示,AI安全是新兴领域,除了部署技术体系外,更需要框架指导、**规范、法律合规等多个维度协同推进。他介绍道,目前瑞莱智慧已经与**工信安全中心、**信通院、**互联网应急中心等单位开展合作,联合落地**制定、测试评估等工作,推动AI安全从“试点示范”走向“推广应用”。未来,瑞莱智慧也将持续聚焦于国际领先的AI安全攻防技术的研发和产业化实践,护航智能产业安全可控地蓬勃发展。

近日,**音数协**工委与****产业研究院共同发布了《2021年****产业报告》,在这份报告中,我们可以看到今年这个**业界发展的全新趋势和走向,虽然因为疫情的原因,很多**企业都受到了不小的影响,但总体发展趋势仍是比较乐观的。

在数字经济蓬勃发展的背景下,随着多种技术的融合创新,**产业和其他相关产业实现了终端、**、场景、应用等多个层面的跨界合作,**产业的自身建设也迎来了新的发展契机。

机遇总是会与危机相伴,虽然**业总体发展情况乐观,但本次的报告中还是呈现出了一些新的问题,无论是**产品还是**的周边活动出现了一些变化,在**增长之外,**市场还迎来了新的挑战,海外市场的开拓和电竞行业的发展都相继遇上的各自的困难。

那么今年的**业又到底都迎来了怎么样的问题?未来又应该如何面对这一系列的挑战?这一次,就随着小雷的视角,去看一下这份产业报告的透露的各种信息吧

2021年,**移动**和客户端**市场实际销售**均有上升,网页**市场在持续萎缩。

数据表明,当前移动**依然占据主导地位。2021年,**移动**市场实际销售**2255.38亿元,占比为76.06%;客户端**市场实际**588亿元,占比为19.83%;网页**市场实际销售**60.30亿元,占比为2.03%。

2021年,**移动**市场实际销售**2255.38亿元,比2020年增加了158.62亿元,同比增长7.57%,增幅较去年同比缩减约25%。今年**移动**用户规模达6.56亿人,同比增长0.23%,移动**用户规模持续上升,但也受到人口结构变化影响规模容量趋于饱和,要开拓新的用户市场,就要寻求新的用户需求。在各类手游蓬勃的发展的趋势下,**市场的发展重心以开始产生明显的偏移,传统的客户端与网页端**已经逐渐位居二线。以手游为基准的全**发展方式已经成为了流行的趋向,《原神》的成功让更多**找到了更为全面的发展的方式,平**占发行的概念已经开始在逐渐被消解和取代。

在这样的大风向下,客户端**也成为了新的受益者,2021年**客户端**市场实际销售**588亿元,比2020年增加了28.80亿元,同比增长5.15%,为近三年内首次出现增长的趋势。而网页**则在今年呈现出发展的颓势,**网页**市场实际销售**仅为60.30亿元,比2020年减少了15.78亿元,同比下降20.74%,连续5年持续呈现下降的趋势。在客户端**和移动**市场的挤压下,整体市场空间持续萎缩。在移动端和客户端**的两面夹击之下,游玩便利**不足的网页端**很明显没有跟上时代的步伐,如今网页端**的定位和发展趋向都相当模糊,是要提高技术摆脱网页端的束缚,还是丰富网页端**玩法和简化玩家的游玩成本,目前大多网页端**都对此缺乏清晰的认识。

移动端、客户端和网页端**,三端之间的竞争让在继续,但**的边界已经不像以前那般清晰,互通的全**趋势让更多玩家能够拥有更相同的游玩环境,移动端**质量也随着全**的趋势而逐步提升,客户端版本的**也在进一步让**的后期研发趋于更完善的发展,但网页端的**仍需要更加明白清晰自身的发展方向,在各类新产品的夹击下,仍需要明白自身的定位才能更好地走向未来

2021年仍是二次元品类**发展**为迅速的一年,不仅保持着稳健的产品输出,还出产了不少极具新意的作品,可以说,目前**市场的二次元品类**已经到了极度泛滥的程度。

在《原神》、《明日方舟》等二次元头部产品的带领下,**二次元移动**市场实际销售**达284.25亿元,同比增长27.43%,相比2020年,今年的**增长率提升了22.96个百分比,整体增长有了飞跃式的进步。另一边,出海方面,2021年我国**产业出海涉及的**和地区明显增多,产品类型也更为多元。越来越多的**公司开始涉及出海的**业务,先前小雷曾提及过的广州天游就是**好的例子,要在众多**公司中脱颖而出,就必须发现新的需求和新的市场,不能只局限于竞争激烈的国内市场,对于尚未开发的海外市场也必须有着足够的重视。

**国、日本、韩国依然是**出海主要市场,但从近3年数据看,其合计占比呈逐年下降之势,其他地区占比则逐年上升,说明我国自研**在不断拓展新兴市场。

而在出口海外的自研手游中,营收状况**为稳定的仍是策略、角色扮演、射击三类**,近3年营收占比稳定在60%以上,其他类型排名则经常变化。2021年表现突出的是消除类、多人在线战术竞技类和模拟经营类。说明自研**出海呈现出多类型并行发展态势,竞争力也持续提升。国内玩家的移动**偏好则有着些许不同,据统计,2021年,国内移动****排名前100位产品中,角色扮演、卡牌、策略三类**占据半壁江山,卡牌类**会比射击类**更能吸引玩家的兴趣,这样的偏好方向同时让**大厂有了更明确研发方向。此外,角色扮演、多人在线战术竞技和射击三类**占总**50%以上,反映了这三类**用户基数较大的客观现实。值得关注的是,角色扮演类无论在**类型还是在市场**方面均居于首位。先前在出海手游分析文章中提及过的休闲**品类,如今也到了发展的瓶颈期,因为休闲**生命周期偏短以及变现难的问题,现如今各大**厂商都在尝试着强化休闲类**的产品设计,为了****产品的寿命,将会采取更加多样化的**机制设计,让**变现有着更多的新途径。总体来说,国内外的各**品类发展趋势都相当明显,角色扮演**是当之无愧的大热门,成为了手游端营收的**大头,而休闲类**虽然也有着相当不错**素质,但却因为变现能力的欠缺,使**始终没能赶上**梯队的营收成绩。**产品要补足自身的产能不足,可能还是需要做出一定的结构调整,以及发行运营工作上的完善,只有这样才能将更好更合适的作品呈现的给玩家。

根据《2021年****产业报告》显示,我国今年**用户规模达6.66亿,同比增长0.22%,用户数量渐趋饱和。伴随防沉迷新规落地和未成年人保护工作逐渐深化,用户结构将进一步趋于健康合理。

用户**体的合理化某种程度上也预示着未来**市场的发展方向,更多有着充分消费能力的玩家加入**当中,对**的要求也会逐步提升,成年人的**市场会对**品质有着更高的要求,同时也能更加合理化**的充值消费结构。

据**2021年第二季的**报当中显示,16岁下玩家在******流水的占比仅为2.6%,其中12岁以下玩家的流水占比为0.3%。三七互娱也在8月31日的调研中表示,从近一年的用户数据统计中可以得知,他们国内的未成年人(18岁以下)充值流水占比低于万分之五,未成年人的平均消费水平远达不到主力地位。

未成年人的充值消费占比其实并没有想象中的高,很难真正影响到**业的的发展,反倒是因为未成年人沉迷**带来的社会负面影响,才会真正影响当**发展。所以防沉迷系统的逐步严封也让很多过度充值不理**消费现象和未成年人隔绝了开来,未成年人在各家公司的重重监管和保护下,已经开始脱离了**充值消费的主力行列。

另一方面,2021年电竞行业重新回暖,今年以电竞入亚、《英**联盟》总决赛夺冠等事件为契机,电子竞技产业的社会影响持续扩大,国内电子竞技市场销售**1401.81亿元,较去年增收36.24亿元,同比增长2.65%,同比增幅缩减42%,增速有所放缓。用户规模4.89亿,同比增长0.27%。

未来的一年可能会看到更加蓬勃发展的电竞行业,以《英**联盟》为基础,电竞直播行业也能被顺势带动起来,电竞赛事的全球化扩大也能使电竞行业更加规范化,让**这项竞技得到更多人的认可。

但并不能过于乐观地看待电竞未来的发展,毕竟电竞**销售**是电竞市场主要**来源,受线下活动减少、线上营销变现困难、防沉迷政策落地以及整体**市场**收窄的影响,电竞市场**和用户规模增幅均有一定下降。

不过未来**仍是充满希望的,除了电竞与更加合理规范化的**受众,角色扮演类**、策略类**以及卡牌类**仍在持续发力,为营造更好的**市场而努力。但还是未来能出产高质量的端游产品,如今国内的手游已经能在全球范围保持领先的水准,如果能在这一领域也能和国外的**大厂并驾齐驱,那么如今国内的**产业才能真的算得上是顶尖水准。

上一篇:为维护和客户关系,百亿私募汐泰投资研究总监违法*露信息

下一篇:最后一页
本站所刊登的各种资讯﹑信息和各种专题专栏资料,均为百色都市在线版权所有,未经协议授权禁止下载使用。

Copyright © 2000-2020 All Rights Reserved