三年前,腾讯安全平台掌舵人杨勇遇到一个名叫“快啊答题”的黑产团队,后者专攻验证码,俗称“打码”。单在2017年一季度,“快啊答题”的打码量高达259亿次,识别率超过80%,一骑绝尘,几乎垄断了地下打码市场。
打码一般是采取“人工+OCR”方式,而验证码安全方也在不断升级,特别是像12306这类应用,需要根据文字辨认图片,识别率低,对黑产来说有不小的难度。
“快啊答题”用到了当时流行的Caffe深度学习框架,使用了卷积神经网络模型,只要输入原始图像,可以通过深度学习获得高识别率。他们收集了大量不同风格的验证码,作为训练样本,样本库超过5000万。
AI技术如此齐整整地用于黑产,这是国内首例。
不仅如此,这个AI打码技术还被包装成接口(API),对外提供服务,打通了从打码、晒密,到撞库的整个黑色产业链条。
黑产对新技术的“好奇心”、“开放性”和“动手能力”让杨勇震惊。要知道,当时AI也才刚刚热起来,杨勇仍在内部向团队一次次解释“安全为什么要用AI”,而现在,武装了AI的黑产已经攻到眼前。
“我们以守护者自居,但‘江洋大盗’都用上了,我们还在那儿讨论到底是牛还是牛。至少我们先配上嘛!”杨勇说。
成为Coolc
黑产是产业链,准确地说应该叫骇客。与之相对,还有一拨白帽(也被称为白帽子),是用自己的技术来维护网络正义的安全爱好者。
早期的白帽主要是喜欢钻研系统、研究技术的一拨人,杨勇自己便是其中一员。他们是一群技术完美主义者,不断寻找网络系统中的漏洞,并迫使其不断改进。
进入首都经贸大学的第一天起,作为文科生的杨勇成了图书馆的常客,四年下来,每一本计算机书籍的借书卡上都留下了他的名字。
大三时他看了一本讲攻防的书,书里列了2000多个工具,还夹带一张光盘。
其中的很多工具作者都活跃在当时富盛名的安全焦点论坛,但这2000多个工具却没几个好使的。杨勇尝试按着可找到的邮箱地址联系作者,向其指出工具里的bug,有个人回复了他,这人叫冰河,真名黄鑫,号称“木马教父”,是安全工具X-Scan的作者。
冰河在回邮里说:“你提的bug没法重现,要不我们见一面,看看问题在哪?”这样,通过冰河,杨勇走进了安全圈。
在安全焦点论坛的杨勇给自己起了Coolc这个ID
冰河所在的安全焦点论坛,聚集了众多的第一代白帽。每个白帽都有一个ID,杨勇也给自己起了一个ID叫Coolc。
大四要毕业时,杨勇先找到了冰河:你们这个挺酷,我能不能参与?
冰河的回复是:可以参与,但如果不是专科出身,薪水会很低。杨勇觉得,加入这个圈子,能和一群高手交往,算上学费,薪水也可以了。这个换算不能算牵强,当时他报一个7天的基础课程班,都还需要和父母借上一笔钱。
于是,在经济系的同学纷纷去银行入职时,杨勇选择了北京一家航天科技企业做网络安全研究员。工资确实不高,但每个月15-25%的资金是不能动的,这是他为自己购买计算机书的特定经费。
早期的白帽其实很多都不是科班出身。冰河当时召集了一次第一代白帽的大聚会,杨勇作为为数不多的80后,坐在一堆大哥面前,询问各家的专业出身,有说是中文系的,还有说是锅炉行业的,算下来,一半是非计算机专业。大家全凭爱好驱动,多数是像杨勇这样,有热情,有耐心,愿意花时间钻研。
进入公司后,为了节省从北京城南到城北近四个小时的通勤时间,杨勇带着一张行军床住到了单位,这其中还有一个私心是,单位里有平时接触不到的昂贵小型机,自己可以借着下班时间在上面练手。
机房温度低,开着窗户觉得冷,关上窗户屋里味道又太大,杨勇半夜常常进行着开窗又关窗,关窗又开窗的循环动作。有一次不小心睡着了,锅炉烧着,水蒸气漫了整个楼层,航天部的同事半夜集体出动,端着消防器材着急忙慌赶来要灭火,才发现这位常驻同事。
从安焦到安平
2004年,QQ注册用户突破3亿,屡屡被攻击问题困扰的腾讯对安全人才表现出的饥渴。为了组建安全部门,腾讯主要创始人之一、原CTO张志东四处找人。
在安全焦点论坛两年后,杨勇被引荐给腾讯。他从北京来到深圳,此时腾讯刚刚组建了安全运维组,总共也两个人,杨勇几乎经历了腾讯整个安全体系从无到有的建设过程。
安全团队从组建起被给予了极高的重视度。张志东在骨干面前不厌其烦地一遍遍强调安全之于腾讯的重要性,极力扩充人马。他站台的腾讯安全峰会,将全国的白帽集聚于深圳。也是在这一时期,腾讯成为第一个建立SRC(安全应急响应中心)的互联网公司。年终总结大会上,马化腾为安全团队颁奖,团队的同学在台上热情地高喊口号:“保护腾讯,保护QQ!”
2013年,安全平台部在腾讯内部主办的第六届安全技术峰会
那时的安全,除了腾讯几万台服务器的安全,防止木马和渗透,主要是QQ客户端的安全:查杀QQ盗号木马。
到2009年,杨勇的安全运维团队已有20人,主要应对盗号的黑产,QQ医生是主要的。但结果发现,很多操作系统自身不安全,到了2010年,QQ医生变成电脑管家,额外承担了操作系统的安全工作。
杨勇的职责,除了要保护QQ,还要保护腾讯旗下的几十款应用软件,团队也被升级为腾讯安全平台部,也是现在腾讯内部所称的“安平”。
2009年,安全平台部年会
何谓平台?一是应用程序,二是操作系统。想突破,要找后门,突破它们的权限。应用程序安全有电脑端的,是桌面安全;手机端的,是移动安全。
如今操作系统的概念也在不断延伸,有个人电脑端的,有服务器上的,还有网络设备的操作系统。广义来讲,云服务对于用户而言,也可以看作一个虚拟的操作系统,可以申请虚拟的CPU、存储,这也有了云的安全。
传统安全领域的战场基本覆盖这些范围,攻防也在这个战场展开。
然而AI一来,战场从传统操作系统平台扩展到AI基础设施领域,攻击工具和方法有AI加持,攻防双方的力量失去平衡,也有了“快啊答题”这种黑产在短时间内的横扫。
AI安全战事兴起
2016年,杨勇去了趟硅谷,拜访了谷歌、Facebook,也约见了苹果等一众头部公司的同仁。坐在几位硅谷工程师面前,听对方滔滔不绝地分享着AI在安全上的应用,杨勇想通了。
当国内还困在AI利弊问题的辩驳中时,硅谷这群工程师已经能够引出AI安全的实战案例,他们没有在现有的安全技术和AI技术之间纠结取舍,在前沿研究上更大胆,也更为果断、开放地拥抱了新技术、新力量。
2017年,安平内部成立了很多兴趣小组,每个小组研究一类新技术方向,其中一个叫TencentBladeTeam的小组研究的是谷歌刚刚开源的TensorFlow深度学习框架,这个AI框架当时已有不少人使用,但很少有人研究它的安全问题——也或者是能力跟不上。
TencentBladeTeam小组出手打破了TensorFlow0漏洞的记录,一连发现并报告了TensorFlow的前7个安全漏洞。比较典型的一个是,可以构造恶意的虚拟文件,框架只要一读取文件会被攻破,前者便可由此控制整个系统。另外,框架使用的第三方库,处理协议时也会有溢出,导致框架被控制。
Tensorflow发布的安全公告及致谢
这些问题报给谷歌时,谷歌甚至还没有漏洞的报告渠道,是腾讯安平的TSRC(腾讯安全应急响应中心)协助他们建立并完善了漏洞报告机制。
深度学习框架可以比作AI的基础设施,这意味着不仅仅是像“快啊答题”那样,利用AI框架来,框架本身甚至也成为了攻防的前线。
对于互联网用户而言,更直观的感受是DeepFake,用Deeplearning(深度学习)来Fake(伪造)图像和视频,可以让已有的图像或视频叠加到目标图像和视频上,可用于名人影片、恶作剧、假新闻、色情行业等,以假乱真,混淆视听,由此带来的影响至今未息。由此,大众也开始认识到了AI的另一面:AI能带来生产力的提高,也能带来伦理、隐私和安全问题。
真正的AI安全问题还隐藏在冰川之下。除了框架这样的AI基础设施,数据、模型、算法,任何一个环节都是攻防的前线。
一方面是AI基础设施被攻击,传统的后门概念的边界,从应用程序和操作系统权限,被延伸到数据、模型、算法。
另一方面是AI技术带来的攻防失衡。如果攻方用了AI,守方不用AI,后者会处于完全的被动,被攻击得体无完肤。
为此,无论是在攻击还是防守上,安平都做了很多不同的探索实践。在算法攻击上,安平天幕团队在2017年参与了NIPS的Non-TargetedAdversarialAttack比赛,在全球近百支队伍中斩获金奖;再比如在重大安全保障中,天幕团队也将AI安全能力深度应用在客户的网络入侵防护系统中,帮助企业实现智能安全运营。
在安全问题上,攻方在突破上本身占据优势,如验证码问题,只要有20%的识别率,攻破的概率非常之高;而守方必须是100%的防守,出现一点点漏洞,造成的破坏效果便不可估量。
攻守双方成本也有着相当的悬殊。比如盗号的挑战,对于腾讯这样强社交应用的公司,是个经典的安全问题。对方可能有100万台肉鸡,用一个蠕虫程序、一个程序员可以发起攻击;防御方则需要有100万台机器防御,全部是真金白银的投入。
2014年,TSRC在北京讨论SRC发展
常见的DDoS攻击,之前是靠人值守,相当于冷对战。安平曾有一位同事由此得一外号,叫“一夜七次郞”,一晚上多要起床七次,抵御攻击。
如今腾讯安平的宙斯盾上线了用AI分析运维人员的行为模型,用AI探索DDoS攻击检测新思路。基于其操作习惯排查攻击行为,可以实现秒级响应,被看作一种现代式的防御。守方把AI运用得当,才能掌握主动。
除了在DDoS攻防场景,腾讯也尝试将AI技术运用到更多的安全场景中。如通过与流量分析结合,助力传统基础安全能力的提升。
腾讯安平门神WAF(WebApplicationFirewall,WAF)基于腾讯海量正常流量和人工打标的恶意攻击流量,建立了丰富高质量的黑白样本库,通过AI机器学习算法的应用,在样本训练测试中攻击检出率可以达到99%,同时误报率控制在0.03%以下。
众生守护者
2018年春节的团队聚会,杨勇在饭桌上照旧和同事们描绘着AI安全的蓝图。酒酣之际,每个人都有些兴奋,聊天也越来越开怀。同坐的女同事坦承自己曾对这份工作怀有的犹疑。她的专业是图像识别,在当前科技行业机会遍地,而做安防需要同时研究硬件与AI算法,基本等于进入一个全新行业,曾在前期有过不小挫败的杨勇对这种跨界的挑战深有感受。
但也是在春节前的这段时间,看到被拐卖儿童因为AI安全的助力被寻回,身为人母的同事更坚定了对这份工作的认同:自己所从事的事业正在保护很多人,正在为社会带来可预见的改变。
“人内心的动力是很可贵的。”杨勇说。
腾讯安平团队还基于视觉AI技术,研发了一套智能视频分析解决方案,推出了“智能跌倒监测系统”,通过人工智能技术对视频数据进行检测、分析,帮助深圳的养老护理院判断老人是否摔倒或有走失风险,并在第一时间预警,以缩短救援时间。在杨勇看来,这更是“安全人”利他价值观的体现。
安全从业者长期隐于幕后,“被需要的时候才会被想起”是这个群体的宿命,失败要独自承受压力,成功也少有人觉察、记住。进入安全行业,既要时刻学习,拥抱变化,也要做好长时间和孤独打交道的准备,但奖励是身在其中的人也会获得一种“众生守护者”的价值感。
在安全行业近20年,杨勇越来越觉得,不管是AI还是其它技术,重要的在于,可以辅助人做善良的事,这一点尤其重要。
做善良的事,然后一步步改变社会,安全人守住这个价值观,也才能守护众生。在此,安全人的使命也和腾讯力主的“科技向善”实现汇流。
Q&A
AI源创评论:走上安全这条职业道路,对你影响大的一件事是什么?
杨勇:遇见贵人,比如像我遇到冰河。不需要多,但他会在人格上影响到你,让你对自己长远的发展有一个清晰的认知。这会决定你道路的选择。
AI源创评论:这些年你对于安全的理解,出现过哪些变化?
杨勇:我在航天领域的时候,对安全的理解是0分和100分,比如卫星一出事完了,要么是100分,是成功了。
从航天行业出来以后,我发现不完全是这样。安全本质上是一个投入产出比的问题,怎么让坏人放弃?一个很重要的策略是让他的成本过大,让他觉得不值得这样做。那时我会做一个很难的技术,去防御,让对方过不来。
干了十几年以后,我发现这个认知又不对了,因为对手在进化。以前是孤狼式的,现在孤狼越来越少,都是团队作战,而且各有分工,有一堆专有设备和大数据支撑。如果从企业级的角度去看,之前的对抗理论崩溃了。
攻防失衡了。攻击方成本很低,做一次攻击像做一次轰炸,如果把你轰炸了,他把这个城市占领了,没有占领,他也没什么损失。而守城的人不行,平常老得准备防御着,成本高。
这时候我们发现AI是可以很大地缓解这种资源的不对称性的。计算机科学、数据科学,都是可以极大缓解这种资源不对称性的。一个企业,一个组织,包括一个国家,不可能无限投入资源,但是AI可以解决这个问题。
所以如果你是一个互联网企业的CEO,在AI安全上可能要关注两类问题:一类是AI算法、基础设施的安全;一类是如何用AI技术去做安全。
AI源创评论:在AI安全这件事情上,你看到的国内和国外的情况有什么不同?
杨勇:很多时候,文化差异会导致技术认知的差异。比如从文化上来说,从数据出发去做决策,在国外特别受重视,像航空航天、医学这些很核心的东西都要依托于数据科学。社会的接受度高,导致他们产业的接受度也高。只要能用数据论证,比较容易让人明白,你是有一个配套的机制去验证某个技术到底靠不靠谱的。只要能用行业的数据来证明,比较容易被接受。
而咱们国内的特点是,对于应用场景接受度高。我们看重的是在一个特定场景,能不能带来一些体验上的改善。很多企业比较看重生存问题,盈利问题。
AI源创评论:黑产的技术越来越强,攻方在使用AI,我们守方也在使用AI。以AI对抗AI,怎么决胜负?
杨勇:AI安全里,算法像在冰山之上,但还有冰山之下的东西决定这件事,那是数据和算力。
数据决定了你的天花板有多高,数据越丰富,理论上天花板的高度越往上走。但是有这么多数据,算力不够怎么办?实际的攻防中,所有计算出的模型和效果都是有时效性的,必须要有超出常人的算力才行。
你会发现,学术界有些算法试验数据特别好,但工业界没法用,为什么?有相当一部分原因是算力没法支撑。所以,如果想做AI安全或者AI的工程化,得有一大批人解决好算法的工程化问题。
AI有点像当年钱老造导弹,是一个非常系统的工程。它包括特种工程,算力的解决,基础设施的搭建、安全保障,使用的场景,算法,模型,配套设施怎么使用等等,越来越细分。
AI源创评论:安平现在各个部门都需要具备哪方面的能力?
杨勇:每个部门要求不一样。负责基础安全的部门,需要对安全技术非常熟悉和了解;负责风控安全的,需要对黑产了解;平台部门则需要对数据敏感度高。实验室要对业界特别敏锐,对新的东西特别开放,愿意去研究。
AI源创评论:从过去两年的发展来看,2020年的安全行业会有哪些变化?
杨勇:这两年非常明显地进入了数据和云的时代,所以主要矛盾还是会在数据和云上。
国内可能会产生的比较大的变化是安全合规性问题。国家在合规方面的要求在明显增强,2020年要求会更加严格。企业的建设压力和安全带来的经营压力一定会很大。安全的工程人员和建设人才,在之后两年会特别稀缺。以前一个企业雇佣两个安全人员可以搞定的问题,会因为IPv6等变量搞不定了,所以这也会带来云市场的很大繁荣。
黑产挺敏捷的,也在不断引入AI算法和新技术。一个一般规模或中大规模的企业,在数据积累、算力准备、算法研究上都很难跟云化的安全能力相媲美。而黑产的积累程度可能要远远超过一个大规模企业,因为它成本很低,只要达到局部成功可以获利。
从这个角度看,中小企业安全的云化是不可避免的,各种内外部环境都会把它往这个方向推动。
AI源创评论:对于准备进入或者已经进入安全领域的从业人员,您愿意给出什么样的建议?
杨勇:这个说起来比较天马行空。首先是要对自己有信心,这条路比较艰难,没有信心注定坚持不住。要花很多时间、精力去学习。一定要对做长期的沉淀有充分的思想准备,包括家人能不能理解和支持。
大多数做安全的人没有高官厚禄,一般不出事儿的时候,大家想不起你。如果真的想做安全,得忍受孤独。你很难出现在镁光灯下,一定要想明白这个事情。但是做安全会给你另外一种东西,是“众生守护者”的那种价值感。
(本文转载自AI源创评论,文丨张路,编辑丨张梦华,亦感谢黄善清对本文的贡献。)
精彩评论