今年是吴世忠担任全國(guó)政协委员的第6年。他(tā)是网络与信息安全领域的专家。履职政协委员之初，吴世忠给自己提了一个要求，“把复杂的信息安全问题说得更准确些”。多(duō)年后再谈及此，已是新(xīn)当选的中國(guó)工程院院士吴世忠坦言：“这几年的努力还遠(yuǎn)遠(yuǎn)不够”。

一个现实挑战是，随着技术的迅猛发展和网络空间的不断演进，信息安全问题变得越来越复杂。以人工智能(néng)為(wèi)例，一年多(duō)前，聊天机器人ChatGPT横空出世，迅速在全球掀起一场AI风暴。今年开春，文(wén)生视频模型Sora重磅来袭，用(yòng)一段足够以假乱真的AI生成动画，再次给行业带来了颠覆性的冲击。

与此同时，技术发展轨迹的不可(kě)掌控性和潜在风险的不确定性，也让全球警惕AI风险的呼声比以往更强烈。“不能(néng)有(yǒu)效管控风险，发展就难以持续；没有(yǒu)足够的安全保障，后果将不堪设想。”近期在一篇探讨2024年网络与信息安全风险前瞻的署名文(wén)章中，吴世忠敏锐地指出，2024 年人工智能(néng)安全治理(lǐ)会成為(wèi)大國(guó)角力的主要方向，人工智能(néng)热门应用(yòng)领域或将出现“灰犀牛”安全事件，潜在风险不容忽视。

今年全國(guó)两会，吴世忠将围绕人工智能(néng)安全和数据安全治理(lǐ)问题建言发声。為(wèi)准备提案，吴世忠先后赴北京、上海、深圳等地调研了解國(guó)内AI技术与产业发展情况，还持续跟踪國(guó)际科(kē)技前沿和网络空间治理(lǐ)战略和政策，并积极与相关专家和學(xué)者们交流研讨，“力求将问题研究透彻，确保提案能(néng)说准、说对”。

近日，围绕委员履职、大模型安全、AI换脸等信息安全领域的热点话题，全國(guó)政协委员、中國(guó)工程院院士吴世忠接受了记者专访。

呼吁加强AI伦理(lǐ)研究、辩证看待发展与安全关系

谈履职

您是连任两届的全國(guó)政协委员，哪些问题是您尤其关注并持续推动的？

吴世忠：我長(cháng)期关注的是新(xīn)技术的发展、安全与治理(lǐ)问题，这是信息化时代各國(guó)面临的共性问题。在两届政协的履职中，我分(fēn)别就加强网络与安全信息安全保障，科(kē)學(xué)利用(yòng)三年疫情产生的大数据，加强信息共享和联防联控有(yǒu)效打击网络诈骗，在國(guó)际竞争环境下加强人工智能(néng)标准和伦理(lǐ)研究等建言发声，持续推动相关部门在科(kē)技发展和信息化的建设中更好地处理(lǐ)发展与安全的辩证关系，应该说起到了一定建言资政作用(yòng)。今后，我还会一直关注并持续推动与此相关的问题，以更好地尽到一位政协委员的职责。

2018年全國(guó)两会期间，您在接受专访时提到，希望“把复杂的信息安全问题说得更准确些”。这个履职要求，做到了吗？

吴世忠：这个问题提得既直接又(yòu)尖锐，真不太好回答(dá)。随着信息通信技术的迅猛发展和网络空间的不断演进，信息安全问题变得越来越复杂。从个人隐私到商(shāng)业利益，从社会问题到國(guó)家安全，从军事冲突到國(guó)际关系，从社会舆情到全球治理(lǐ)，信息安全问题几乎无处不在，而且千事千面、见仁见智，再结合不同场景、对象和上下文(wén)，相关信息安全问题的内涵和外延也相去甚遠(yuǎn)，因此要说清楚、讲准确，也越来越难。从这个意义上讲，我这几年的努力还遠(yuǎn)遠(yuǎn)不够。

如何应对日益复杂的信息安全难题？您長(cháng)期从事网络与信息安全领域的技术研究工作，有(yǒu)何经验和心得分(fēn)享？

吴世忠：首先，我认為(wèi)发展是重要的安全考虑。信息安全问题与技术发展相伴而行，没有(yǒu)发展之需，也就难有(yǒu)安全之虑。我國(guó)几十年来网信事业的蓬勃发展，以及近年来中美竞合的科(kē)技角力，也生动具體(tǐ)地说明了一点——那就是不发展是最大的不安全。

其次，韧性是关键的安全能(néng)力。现在我们已经走过信息化的孩提时代，安全保障體(tǐ)系已经从保姆式的全面看护发展到自主式的自然应对。我们不再為(wèi)一个技术漏洞而产生像“千年虫”那样的安全焦虑，也不会因一两次常规攻击导致大规模断网灾难。随着网络空间法规、管理(lǐ)、技术手段和伦理(lǐ)等不断增强，信息安全的整體(tǐ)生态在日益丰富，韧性或弹性日益成為(wèi)网络信息安全保障體(tǐ)系的关键要素。

第三点，成本和效益是務(wù)实的安全指标。要准确地认识信息安全问题，需要做到对安全风险既不高估，也不低估。近年来，我國(guó)在网络信息安全上的投入逐年增加，在管控、应对网络信息安全风险上更加務(wù)实。这种风险管理(lǐ)思想和成本效益考虑，是我们应对网络信息安全问题的主流方向。我认為(wèi)，加强成本与效益分(fēn)析，采取激励机制与政策，增强风险管理(lǐ)的意识，并且将最佳实践、攻防演练、外部性因素等纳入网络安全治理(lǐ)的策略考虑中，应当是我们在提升信息安全治理(lǐ)能(néng)力的重大进步。

要防止大模型沦為(wèi)作恶工具

谈AI安全焦虑

自ChatGPT问世的一年多(duō)以来，众多(duō)大模型相继推出，并在多(duō)个行业落地应用(yòng)。大模型落地应用(yòng)主要面临哪些安全风险？

吴世忠：几个月前，图灵奖得主杰弗里·辛顿从谷歌辞职，OpenAI公司出现“宫斗”，众多(duō)有(yǒu)识之士公开表示安全担忧，國(guó)际社会密集研讨AI治理(lǐ)……ChatGPT问世一年就引发如此大的安全焦虑，这在科(kē)技发展史上是空前的。

对人工智能(néng)的快速发展，人们既有(yǒu)近忧也有(yǒu)遠(yuǎn)虑。就近忧看，大模型落地应用(yòng)主要面临这些安全风险，包括生成不当内容、产生隐私问题、产生歧义或偏见、引发技术攻击、难免知识滞后等。

以技术攻击為(wèi)例，一些恶意用(yòng)户可(kě)能(néng)通过技术手段对大模型进行网络攻击。比如污染训练数据（数据投毒），输入精心设计的样本，使大模型产生错误的输出等，破坏大模型的可(kě)靠性。

在知识层面上，因為(wèi)大语言模型的训练是对已有(yǒu)知识的學(xué)习，对截止时间之后的新(xīn)知识、新(xīn)发展还不具备与时俱进的推导能(néng)力，这可(kě)能(néng)导致对新(xīn)情况的了解不足，对新(xīn)问题表现出力不从心。

还有(yǒu)报道显示，恶意大语言模型已成為(wèi)暗网最畅销的黑客工具，被一些网络犯罪分(fēn)子滥用(yòng)进行大规模攻击。怎么看待这类现象？

吴世忠：对此类情况，我还真不太了解。不过单从技术上分(fēn)析，网络犯罪与恶意使用(yòng)或滥用(yòng)大模型的可(kě)能(néng)性是客观存在的。人工智能(néng)可(kě)以看成是信息化进程的新(xīn)阶段，传统的网络安全攻击方法大多(duō)数都会在AI中实现。

就大语言模型而言，攻击方式就可(kě)能(néng)有(yǒu)：数据投毒、提示注入、误导输出、模型阻塞等新(xīn)兴方法，还可(kě)能(néng)有(yǒu)供应链漏洞，不安全组件，逆向分(fēn)析，后门攻击等常规方式。

人是安全问题中最為(wèi)复杂的因素，如何防止大模型沦為(wèi)犯罪分(fēn)子的作恶工具，是AI安全的重大课题。

从已有(yǒu)的研究看，人们对AI的安全遠(yuǎn)虑是什么？

吴世忠：一是技术发展失速。回望历史我们知道，AI走过了近60年的孩提时期，直到互联网兴起，大数据出现和神经网络、机器學(xué)习的突破才步入目前的弱AI时期。虽尚值年少，但聪慧惊人，大有(yǒu)向通用(yòng)AI迈进之势。國(guó)际社会相继发出“暂停训练”加强约束之呼吁，表达的就是对AI技术发展太快、监管力所不及的深度忧虑。

二是军备竞赛失控。AI技术备受军事青睐，从认知战到情报战，从无人机到卫星网，AI技术已经打开智能(néng)时代新(xīn)军备竞赛的“潘多(duō)拉盒子”，大國(guó)角力日趋激烈，军控谈判需求紧迫，AI向善或是向恶成為(wèi)國(guó)际治理(lǐ)重大议题。

三是伦理(lǐ)道德失范。AI成長(cháng)期短，还是懵懂少年，不像人类有(yǒu)数千年的历史积淀，伦理(lǐ)规范和道德约束的缺乏是AI带给人类的普遍担忧。技术逻辑与人文(wén)素养相差很(hěn)遠(yuǎn)，AI伦理(lǐ)目前仍处密集交流和商(shāng)讨阶段，要在技术上实现、应用(yòng)上落实，还有(yǒu)很(hěn)長(cháng)的路要走。

此外，AI技术和应用(yòng)都高度依赖大数据，无论是AI使用(yòng)大数据训练，还是利用(yòng)AI分(fēn)析大数据都难以避免地产生数据泄露和信息保密问题。同时，AI应用(yòng)可(kě)能(néng)对社会生活造成深遠(yuǎn)的影响，包括就业市场、新(xīn)闻宣传、政治决策等，因此有(yǒu)必要负责任地使用(yòng)和监督AI技术。

在人工智能(néng)技术发展高歌猛进的当下，这些安全忧虑更多(duō)的是潜在隐患。相对于近十年来人工智能(néng)技术的蓬勃发展，安全方面的研究略显滞后——这也符合科(kē)技发展的既有(yǒu)规律，创新(xīn)发展在前，安全治理(lǐ)在后。

所以我们一定要全面、辩证地看待AI的安全问题。有(yǒu)人曾就AI与人类关系问题提问过ChatGPT，它的回答(dá)是“AI不会让人类变得多(duō)余，只会使人类变得更有(yǒu)价值”。我想这对我们从发展的观点理(lǐ)解和认识安全问题，应该有(yǒu)借鉴意义。

透明度、公平正义是全球AI治理(lǐ)高频词

谈AI治理(lǐ)

从AI冒充拜登给选民(mín)打電(diàn)话，到AI生成知名歌手泰勒·斯威夫特的“不雅照”，再到香港警方披露一起涉案2亿的AI“多(duō)人换脸”诈骗……近期AI造假事件屡次出现，引发了诸多(duō)担忧。从技术的角度分(fēn)析，AI换脸或拟声诈骗技术含量高吗？

吴世忠：从技术上看，AI换脸、拟声诈骗这类骗术的水平还是较高的，主要是因為(wèi)它可(kě)能(néng)恶意使用(yòng)了多(duō)种新(xīn)兴人工智能(néng)技术。

一是大数据技术，大规模的高质量数据集是这些骗术成功的关键，数据越多(duō)，越真实，模型學(xué)到的特征和细节就越丰富，生成的结果就越生动、逼真。

二是深度學(xué)习和生成模型技术，这可(kě)以让生成的换脸和拟声内容更加逼真和自然。

三是迁移學(xué)习技术，它允许模型将一个领域學(xué)到的知识迁移到另一个领域，这也有(yǒu)助于提高换脸和拟声模型的性能(néng)，使其运用(yòng)更多(duō)的场景和人物(wù)，更具欺骗性。

最后，AI造假还可(kě)能(néng)涉及语言和图像处理(lǐ)技术，借此可(kě)以对包括面部表情、语言音调、发音特征，特别是方言等多(duō)方面进行细微处理(lǐ)，生成更加真实的效果，达到以假乱真的目的。

以前我们说“无图无真相”，但现在借助AI技术，甚至能(néng)生成以假乱真的视频，让“眼见不再為(wèi)实”。如何应对AI深度造假问题？

吴世忠：我建议从技术、法规和伦理(lǐ)约束以及安全意识培养等方面，采取综合防范措施。其中尤為(wèi)重要的是技术——人工智能(néng)技术十年来发展迅猛，但相应的安全技术研发相对滞后，在风险隐患日益凸显的今天，发展安全技术手段是当務(wù)之急。

為(wèi)防范AI深度造假，可(kě)采取的技术手段包括使用(yòng)图像和音频分(fēn)析工具，检测深度造假，识别图像或者音频的伪造痕迹，也可(kě)在数字内容中嵌入水印或隐写记号，以便追溯图像或音频来源并作真实性比对，还可(kě)运用(yòng)區(qū)块链技术等确保信息的不可(kě)篡改和透明性，从而提高图像或音频的可(kě)信度等。

法规、伦理(lǐ)方面，则可(kě)制定相关法律法规和监管措施，对违规或恶意使用(yòng)AI造假的行為(wèi)进行处罚和打击。要求AI开发者提高模型的透明度和可(kě)解释性，确保用(yòng)户能(néng)够理(lǐ)解模型的决策过程，减少潜在的滥用(yòng)风险。同时，制定和倡导AI伦理(lǐ)规范，引导AI技术的开发应用(yòng)，明确禁止滥用(yòng)和伪造信息等。

具體(tǐ)到安全意识的培养，建议加强民(mín)众对AI造假可(kě)能(néng)性的认知，提高对虚假信息的辨别能(néng)力，促进官产學(xué)研多(duō)方合作，加强持续监测研究，适应不断进步的技术和不断演进的威胁，共同应对AI深度造假的挑战。

当前主要國(guó)家均在探索人工智能(néng)治理(lǐ)方案，中國(guó)也将制定“人工智能(néng)法”列入國(guó)務(wù)院的立法计划。您认為(wèi)，构筑人工智能(néng)安全护栏的应有(yǒu)之义是什么？

吴世忠：世界主要國(guó)家确实都在积极探索AI治理(lǐ)方案。截至去年底，至少已有(yǒu)60多(duō)个國(guó)家制定或发布了与AI有(yǒu)关的政策文(wén)件，我國(guó)也先后提出了多(duō)项与AI相关的國(guó)家政策和倡议。

我们对全球活跃的50项AI倡议作了初步分(fēn)析，发现前十个高频词汇是，“透明度、公平正义、非恶意、责任与问责、隐私、向善、信任、尊严、团结和可(kě)持续”，这一定意义上反映出了人类对AI治理(lǐ)目标的共识。

我认為(wèi)在构筑AI护栏时，同样要反映这些共同诉求——从专业的角度讲，其应有(yǒu)之义和重点可(kě)能(néng)包括：保护个人隐私和信息保密、维护社会秩序和公平正义、有(yǒu)利文(wén)化传承和道德伦理(lǐ)、维护國(guó)家主权和安全利益。

网络与信息安全是业務(wù)创新(xīn)发展的重要支撑

谈新(xīn)质生产力

去年12月举行的中央经济工作会议提出，加快发展新(xīn)质生产力。结合你的专业背景，如何理(lǐ)解“新(xīn)质生产力”？

吴世忠：新(xīn)质生产力是创新(xīn)起主导作用(yòng)，摆脱传统经济增長(cháng)方式、生产力发展路径，具有(yǒu)高科(kē)技、高效能(néng)、高质量特征，符合新(xīn)发展理(lǐ)念的先进优质生产力。  

就网络信息安全领域而言，数字化转型、创新(xīn)驱动和智能(néng)化生产是其最主要的三大特点。显而易见，这三大特点都与网络与信息安全息息相关且紧密相连，所以我理(lǐ)解新(xīn)质生产力，应该是高质量发展和高水平安全高度融合的新(xīn)型生产力。

面对全新(xīn)的生产力变革，网络与信息安全行业可(kě)以发挥怎样的作用(yòng)？

吴世忠：在全新(xīn)的新(xīn)质生产力变革中，我认為(wèi)网络与信息安全理(lǐ)应发挥至关重要的作用(yòng)，主要體(tǐ)现為(wèi)以下四点：

一是為(wèi)数据和隐私提供安全保护。随着生产过程数字化和设备互联，大量敏感信息通过网络传输，网络与信息安全确保数据在传输、存储和处理(lǐ)应用(yòng)过程中，得到充分(fēn)保护。

二是為(wèi)智能(néng)生产提供安全保障。在新(xīn)质生产力变革中，智能(néng)制造得到广泛应用(yòng)，网络与信息安全在工业互联网、工业云领域发挥重要作用(yòng)。能(néng)防范网络攻击，确保重要设备的安全运行。

三是為(wèi)业務(wù)创新(xīn)提供安全保证。新(xīn)质生产力的大量创新(xīn)必依赖网络业務(wù)和网络应用(yòng)。网络与信息安全措施有(yǒu)助于防范网络攻击、恶意软件和其他(tā)威胁，从而确保企业的业務(wù)持续性，為(wèi)业務(wù)创新(xīn)提供稳定的环境和条件。

四是為(wèi)人工智能(néng)提供安全服務(wù)。新(xīn)质生产力变革涉及到人工智能(néng)和大数据的广泛应用(yòng)。网络与信息安全在防范恶意使用(yòng)人工智能(néng)，防止算法攻击，确保数据安全等方面扮演着重要角色。

可(kě)以说，在新(xīn)质生产力变革中，网络与信息安全不仅仅是一项技术，它更是保障整體(tǐ)业務(wù)创新(xīn)发展的重要支撑。

（来源：南方都市报，记者李玲）