大数据+AI，看“腾讯大数据-天工”如何引领隐私计算浪潮

当下，我们早已进入了大数据时代。大数据已经融入到社会与生活的方方面面，对社会经济、出行、教育、医疗、金融以及人们的消费习惯、思维习惯都影响甚深，甚至产生了变革性的进化。

早在1994年，《失控·机器、社会与经济的新生物学》（Out of Control: The New Biology of Machines, Social Systems, and the Economic World）作者凯文·凯利就曾说过：“大数据会最终获胜，最后我们生存的世界就是大数据的世界”。事实证明确实如此，如今数据不仅是数字经济的关键要素，也已成为信息时代与土地、技术、劳动力等并列的生产要素。

然而，大数据是一把双刃剑，一面光芒万丈，前景无限；一面晦暗不堪，隐患频出。譬如，大数据与隐私保护、信息安全、数据资产等有着天然的对立性。此外，人工智能的发展构筑于数据之上，却也受限于数据利用的瓶颈。一方面，许多场景并没有足够数量的大数据，另一方面，即使有大数据，这些数据也可能相互孤立，无法交流共享。尤其在相关法规不断趋严，各行业数据安全意识不断提升的背景下，数据的安全流动与共享对机器学习乃至人工智能的发展带来了严峻挑战。

如何将大数据安全合规地充分应用于经济社会各行各业，如何更好地利用大数据发展人工智能，如何推动大数据与隐私计算技术的协同发展？带着这些疑惑，我们关注了“腾讯大数据高峰论坛”。

4月18日，在 “腾讯大数据高峰论坛”上，腾讯正式发布自研第四代数智融合计算平台“腾讯大数据-天工”，该平台以最新的“数据协同、技术互通、平台大脑”技术理念为基础，在确保数据安全这一重要前提下，真正实现万亿级数据分析无人“自动驾驶”，进而推动大数据和人工智能技术融合为一，引领全球大数据计算进入下一时代。

中国科学院院士梅宏、中国信息通信研究院云计算与大数据研究所副所长魏凯、埃森哲战略与咨询董事总经理袁虹、腾讯数据平台部总经理蒋杰、英特尔大数据首席工程师程从超、腾讯数据平台部副总经理刘煜宏、腾讯数据平台部AI平台总监陶阳宇等国内大数据领域领军人物做了演讲。

会上，中国民生银行廖鹏、中国电力科学研究院张玉天、中国电信云计算分公司温森茂、腾讯聂晶及陈鹏就隐私计算的机遇与挑战展开了圆桌对话。

蒋杰在会上表示：“作为新型基础设施的重要组成部分，大数据产业将迎来发展的新阶段。此次发布的第四代数智融合计算平台，将以安全的方式打通数据孤岛，桥接多方数据，以统一的数据处理引擎更高效地挖掘数据价值，以智能化的方式驱动整个数据处理闭环，为开发者、企业、以及政府的数字化、智能化升级打下坚实基础。”

“腾讯大数据-天工”三大领先技术理念

为打破数据孤岛实现数据协同，数据安全是重中之重。“腾讯大数据-天工”采用自研隐私计算技术，从机器学习到大数据分析为各个场景提供全方位保护，去中心化的架构则能避免单点隐私泄露风险。

目前，“腾讯大数据-天工”可以支持千亿级规模的海量数据训练，性能参数领先业界5倍，在此基础上，提供3072bit业界最高强度加密和TEE硬件双保险，最大限度确保数据安全。

凭借该技术，腾讯大数据相关团队获得iDash 2020世界隐私计算大赛冠军，安全性能领冠全球。据了解，金融级安全强度的腾讯隐私计算技术已广泛应用在医疗、金融风控、数字政务等众多领域。

从离线计算、实时计算再到机器学习，大数据智能化是第四代数智融合计算平台规划的必由之路，腾讯正在构建平台大脑，推动万亿级大数据分析逐步实现“自动驾驶”。从快速发现大数据运行问题到主动发现问题，再到主动解决问题，平台大脑预计可让数据中心研发效率提升60%，运营效率提升50%，平台服务质量提升80%。

大数据智能化趋势日渐明晰，大数据和人工智能技术的融合也在不断加速各行业的数字化升级。鉴于二者本质技术类似，“腾讯大数据-天工”平台通过解决大数据和人工智能计算框架的统一，从而更好地适配CPU、GPU、NPU、FPGA等硬件。包括通过构建大数据、AI基础算子，统一元数据用于执行优化，统一批、流、图计算形态来统一计算引擎，并及时编译，代码生成适配异构硬件。

腾讯大数据能力如何应用于现实

理论联系实际，尤其是理论能够作用于实践，才能更好地证明理论正确优秀与否。

本次会上发布了腾讯大数据十年技术沉淀、倾力打造的第四代数智融合计算平台，该平台下重要的一款安全产品腾讯Angel PowerFL安全联合计算平台格外引人注目。

腾讯Angel PowerFL安全联合计算平台拥有全栈的联邦机器学习和深度学习功能，支持多方联邦逻辑回归、XGBoost、PCA、用户自定义神经网络模型，支持多方联邦模型在线serving和模型管理，支持联合数据分析。

Angel PowerFL平台还提供多种隐私保护机制，包括同态加密、秘密分享、差分隐私、可信执行环境（如SGX）等，通过多种隐私保护机制的融合形成一个通用型隐私计算平台，在不同的应用场景里给用户提供选择不同的安全保护级别。

此外，Angel PowerFL平台以底层技术的方式与腾讯云神盾联邦学习产品结合，面向企业联合数据建模的需求场景，推出了神盾-联邦机器学习平台产品。产品针对机器学习算法进行订制化的隐私保护改造，保证数据不出本地即可完成模型训练。

Angel PowerFL作为腾讯云数据安全网络（DSN）底层隐私计算引擎，为金融、政务、广告、医疗等多个应用场景提供联邦学习平台，助力释放数据融合价值。

消费贷近年来兴起，随之而来的信贷欺诈也越来越严重，恶意骗贷、仿冒他人骗贷、团伙欺诈等欺诈行为对银行等相关信贷机构造成了严重的损失。

传统上，银行都是基于历史还款信息、征信数据和第三方的通用征信分来做贷前反欺诈，仍存在数据维度缺乏、数据量较少等情况，需要融合多方数据联合建模才能构建更加精准的反欺诈模型，但这一过程中隐私保护和数据安全是不可忽视的重要环节。

联邦学习可以有效解决合作中数据隐私与特征变量融合矛盾，在双方或多方合作中线上保障特征变量交换时的信息安全。例如某银行应用腾讯隐私计算产品，融合多方的黑灰产行为等特征，模型的KS提升30%以上，每年阻止数亿资金的风险贷款申请。

例如，某大型金融服务机构基于腾讯Angel PowerFL平台构建联邦金融风控系统。通过跨机构A和B两方协作，其中A方拥有用于建模的部分特征，B方也拥有用于建模的部分特征以及标签信息，在数据不传输出本地的情况下，A方和B方进行联合建模。

Angel PowerFL系统首先对A和B双方样本进行安全的样本对齐(PSI)，选取对齐的样本用于模型训练，接着对A和B拥有的特征进行联合特征选择和特征工程，然后通过安全联邦逻辑回归算法协议训练出风控模型，用于后续的预测打分，并与金融业务系统对接。

Angel PowerFL联邦算法协议采用了去中心的架构设计，不依赖第三方中心节点，进一步增强了安全性和实用性。

相比于传统的单侧建模，腾讯Angel PowerFL联邦风控在AUC和KS指标上分别有5%和16%的提升，现在提升了金融风控效果。另外，Angel PowerFL系统基于腾讯Angel分布式机器学习平台开发，支持海量数据的高性能联邦模型训练，十万数据规模只需十分钟左右完成模型训练，同时支持在线的模型推理服务，用于金融业务实时需求场景。

在广告场景中，流量方和广告主侧各拥有一部分链路数据，比如流量方拥有流量相关点击行为和基础画像，而广告主侧拥有深度转化链路数据如付费，后者属于广告主核心资产，不能完全同步给流量方，但是双方都有需求优化广告投放效果，以提升成本控制和起量效果。

借助联邦学习可以在保护合作双方各自数据安全的前提下，联合训练、建模、优化模型效果。在这样的背景下，通过广告主和流量主的联邦建模，融合双方的数据优势，在游戏、金融、教育、电商行业的广告应用案例中能够取得显著效果提升。

比如，某广告平台拥有用户的画像数据和点击行为数据，与之合作的广告主则拥有用户的实际购买等转化数据。广告平台与广告主合作，通过腾讯Angel PowerFL平台进行联邦推荐模型建模。通过Angel PowerFL平台，在保护用户的数据隐私的前提下，广告平台和广告主的联合进行推荐模型的训练，实现更精准的广告定向投放。

在广告平台和广告主两方协作构建个性化推荐模型过程中，广告平台方拥有用于建模的数据，广告主方拥有用于建模的数据和标签信息。双方基于对齐后的样本数据，通过Angel PowerFL系统协作训练推荐模型（例如，XGBoost模型），接入推荐业务系统。

广告推荐模型通常需要大规模的数据集，Angel PowerFL体现出卓越的性能，一个小时左右完成千万级数据的XGBoost模型训练，十分钟左右完成千万级数据的预测，模型的准确率（Accuracy）在95%以上。联邦广告推荐系统相对单方独立建模系统效果提升15% 。

“腾讯大数据-天工”引领全球大数据浪潮

蒋杰表示，腾讯自身即拥有海量的数据规模，目前腾讯大数据平台日接入消息量超过55万亿，日实时计算量超过65万亿，平台整体算力超过500万核，日分析任务达到1500万，腾讯云已经成为国内算力最强的云厂商，同时也是日实时计算量最大的公司。

自2009年开始，腾讯就开始深耕海量大数据处理领域，其第一代大数据平台依托Hadoop生态，围绕离线计算模式化构建出能够稳定支撑小时/天级别的计算任务数据处理平台，该平台在2016年取得世界排序冠军佳绩。

2012年前后，腾讯第二代大数据平台通过引入Spark、Storm等实时计算处理框架，让大数据平台处理性能迈入毫秒级别，当时便已跻身国内实时计算量规模第一宝座。

2015年，腾讯第三代大数据平台朝着机器学习发展，其自研机器学习框架Angel成为国内第一个从Linux基金会毕业的顶级AI项目，并推动国内大数据处理正式进入机器学习时代。

从2020年开始着手规划的第四代数智融合计算平台“腾讯大数据-天工”，无疑将持续引领全球大数据计算走上安全、统一、智能的新征程。

值得一提的是，为更好地探索数字时代中发展和安全的平衡点，腾讯在此次峰会上也重磅发布《腾讯隐私计算白皮书》。白皮书由腾讯研究院联合公司内部多部门共同撰写，从隐私计算发展背景、技术体系、重点应用行业和场景、数据安全合规、未来发展前景等多角度全方位探索隐私计算，通过与业界凝聚共识，共同推动隐私计算技术的发展。

会上，腾讯大数据与中国信息通信研究院云计算与大数据研究所签署战略合作协议，将就技术创新及标准制定、测评认证及应用示范以及联合实验室筹建等展开深度合作。

腾讯大数据高峰论坛-专访时刻

当天下午，蒋杰、刘煜宏、张玉天、陶阳宇接受了媒体的专访，四位嘉宾针对诸多问题，均予以详细而又精彩的回答。我们从中择取五个精彩问答，选其精要，以飨诸君。

陶阳宇：谷歌原本并不是想做隐私计算，它在手机输入法做下一个候选字的推荐，本意是把每个移动端信息去增益，获得更好的预选词预估。它是一个初始种子，从此可以做更广意义上的联合计算或联邦学习场景。目前整个技术包括理论，包括国内很多的学者，还有各大互联网企业，已经将这个技术往前扩展增强了很大一步，包括除了横向之外，还有纵向联邦，比如Angel PowerFL做的单向联邦、斜向联邦、非对称联邦。

现在从腾讯巨大的业务体量出发：

第一，规模和性能是很大考虑的点；

第二，重中之重是安全，比如采用3072bit军用级安全加密，军用行业对安全等级有严苛要求，包括银行在内的金融领域也有相应的国家标准，一般是采取2048加密。腾讯因为具备高性能的计算能力，可以把等级再往上拔高一下来巩固安全。还有像软硬件双保险，跟英特尔同时在合作TEE硬件这块的能力。此外还包括最重要的一点，从架构设计开始就考虑到如何做到去中心化，不需要一个单点，因为单点总归是存在一些风险。我们去中心化架构只需要参与各方的通讯业务就OK，不需要“中间商”的角色参与，进一步保证安全性；

第三．高性能，因为有了高性能才能支撑起更高的安全加密；

第四，全栈的功能，依赖于很多业务落地的时候，业务方对技术成熟度有更高的要求，从端到端的全流程全栈上提供更丰富的功能，这是比较大的差异化。

其实这个领域是比较初期的领域，各家的技术都有大量的差异点，或者至少针对场景尝试的点，在技术初期鼓励技术百花齐放。至于将来技术如何演进，大家也都在探索，相应的法律法规在不断碰撞完善。

陶阳宇：其实会有多种技术的融合，包括我们本次发布的白皮书中讲掌握的趋势也会是多种技术的融合，其实在过去学术界领域可能看的是比较泾渭分明的三个地方，联邦学习、MPC多方计算、TEE，如果从工业界来看的话，需要三者技术融合起来。

比如联邦学习解决的是机器学习逻辑回归，或者决策树模型怎么多方训练。而多方计算是在多方训练当中怎么保证数据的安全性，联邦学习某种意义上不太关注安全性。我们要做一个成熟的安全的产品，三个技术都会用到。

今天在Angel PowerFL也是一样，很难看到一个技术能够把问题彻底解决掉，至少从至今的实践来看，这三个领域的知识互相结合交织起来，才能形成一个真正在生产环境中安全的且性能达标的系统。包括跟区块链的融合，这也是一个很大的趋势，作为不可篡改、可审计性，我们现在也纳入到整个隐私计算。

张玉天：我们电科院在隐私计算方面的探索，主要跟腾讯合作的是面对用户的营销方向。其实我们内部也会有数据壁垒，本身公司也足够大，会有一些数据。比如说用电识别异常的场景，这个场景对于每个公司来说样本数比较少，但可以基于数据驱动用一定的算法来做，这样可以使用联邦学习共同协同训练，让我们这个识别模型更精确。当然这也是在初步探索，也在跟腾讯这边合作。

我们做的另外一个场景就是无人机巡检，无人机拍摄的巡检画面，识别它的设备有没有缺陷、损坏，保证稳定性，这个处于试点阶段，还没有做到训练开放数据的地步，可以通过与腾讯合作先行看看。不同的无人机试点理念不太一样，无论从飞行拍摄的角度，还有在不同区域用的设备，外观不一样，缺陷的表现也不一样，会有很多的不同。我们一起来训练以后，就会得到更准确的识别，对于我们将来推广无人机巡检会有帮助。

我们选择与腾讯合作，因为腾讯本身是国际领先的互联网公司，技术积累非常强，术业有专攻，我们自己做的话周期可能会比较长。

刘煜宏：我们讲自动驾驶现在是什么水平，只是一个类比，我们刚才说L3是发现问题，L4是分析问题，L5是自动解决问题。腾讯现在运营做得还不错，我们现在平台整体算力如果按机器的台数算，早就超过十万级的级别，超过500万核，很庞大。但我们的运维人员很少，20多个人，就能正常运转，因此自动化运维水平还算不错。

但我们面临的挑战是什么？第一，系统实在太庞大，规模大起来以后各种问题就很多；第二，大数据系统加上机器学习AI整个生态非常复杂，几十个上百个组件，在里面各种融合，互相影响，这是庞大技术体系造成的门槛高；第三，腾讯在业内业务复杂度最高，什么业务都有，金融、游戏等等，对我们个性化的需求有特别多不一样，我们怎么快速响应他们、服务他们，其实是挺难的。

我们希望做到什么程度呢？我们希望对平台所有软硬件指标都能完整收集，并形成知识图谱，平台里任何一个问题和异常，平台大脑能第一时间感知，根据问题图谱进行根因分析，精准定位源头，是软件引起的还是硬件引起的，并能根据异常的不同影响级别，根据决策树和现网知识库形成最适合的处理方式。这个过程，不需要人工来干预，都是平台自身智能地在处理，极大地解放研发和运维人员的生产力。

蒋杰：我想重申一遍，隐私计算还是解决特定领域的特定问题，不是包罗万象能解决所有问题。关于大数据的一些问题，今天我们解决一些，明天我们解决一些，后天我们逐步再解决一些，这是一个循序渐进的过程，不是今天推出隐私计算，什么都能解决，没这么神奇。

希望大家也能理解我们在演进过程和演进道路上的艰辛，技术不是一蹴而就的，技术是靠一件一件磨出来的，特别是大数据里面核心的技术，十年磨一剑，对大数据来说只是一代，其实我们真的磨了二三十年。我希望大家可以看到我们每年在一点点进步，说明我们是有成长的空间。

其实我们作为一个技术团队，更为纯粹地要去研究技术的深度，还有产品的广度，更多的是通过云的模式去解决这个问题。我也希望无论是我们的团队，还是媒体和社会对我们的关注，都需要有这样的一个认可，我们才能够进一步地去把我们该做的事情做好。

我经常会说一句话，我们今天如果是坚持在做正确的事情，不管这个技术现在处于萌芽期、成熟期，还是衰退期，我们都应该去坚持这个技术商业价值的存在，这很关键，否则技术不会有更新。所以这是我们始终坚持的一个核心价值观。

齐心抗疫 与你同在 

点【在看】的人最好看