未来世界，将是人机协作的世界。所有(yǒu)创新(xīn)都需要从人的角度出发，而人机交互与协作技术也必须迎合和满足用(yòng)户的需求，让人更方便快捷地完成任務(wù)。如今，我们正处于从人机交互向人机协作迈进的阶段——人机交互是人与计算机通过输入与输出设备进行沟通对话；人机协作则是建立在人机交互基础之上，让人和计算机通过优势互补，去共同完成任務(wù)。

从信号交互到“心领神会”

不知道是巧合还是有(yǒu)意设计，人机交互方式的演变与升级，完美复现了人类从婴幼儿到少年，再到成人的交互方式。这一发展过程可(kě)以大致分(fēn)為(wèi)四个阶段。

第一阶段是手眼协同交互。在人类婴幼儿阶段，还未學(xué)会开口说话之时，总习惯用(yòng)眼睛来观察，然后用(yòng)手指指戳戳，来表达自己的意图，或者与其他(tā)人进行沟通。类似地，计算机交互的首次大规模应用(yòng)，也得益于图形界面与鼠标、键盘的问世，人们可(kě)以通过手指操控这样一套输入输出设备，与计算机进行沟通。这一阶段，人机交互基本是无声的。

第二阶段是基于语言和对话的交互。人类學(xué)会说话之后，会不断地學(xué)习，然后慢慢掌握一门甚至多(duō)门语言，不断提高自己的听说读写能(néng)力，而与更多(duō)的人进行更流畅的沟通。同理(lǐ)，语音识别技术以及自然语言处理(lǐ)技术的快速发展，使得计算机也可(kě)以听懂，并在一定程度上理(lǐ)解人类的语言，从而帮助人类完成某些操作。例如，手机语音助理(lǐ)软件、智能(néng)汽車(chē)的車(chē)载语音助理(lǐ)、家用(yòng)智能(néng)音箱等产品的广泛使用(yòng)，已经证明了这一技术的成功。

第三阶段是引入、融合眼神等生物(wù)信号的交互技术。成年人之间的默契往往不需要语言，“察言观色”便可(kě)领会彼此的意图。此类人机交互技术的标志(zhì)性产品已于2024年上市——一种增强现实AR头盔，结合虚拟现实VR技术，通过组合多(duō)个摄像头和传感器，进行眼球追踪，然后提取眼球的特征信息来监测眼动的变化，从而控制头盔内虚拟屏幕上的光标定位，最后结合手势、语音等，完成在屏幕上的相关操作。假设人类目光所及的位置通常与思考的事物(wù)有(yǒu)关，那么，该技术就有(yǒu)可(kě)能(néng)通过眼动，让机器推断出人正在关注和思考的部分(fēn)内容。

第四阶段则是一种基于意念感知的交互方式——“心领神会”，即通过非言语的方式传达信息和理(lǐ)解对方的意图。这也将成為(wèi)未来人机交互技术发展的必经阶段。一种可(kě)能(néng)的实现方式是脑机接口交互技术，目前该技术还处于科(kē)學(xué)研究阶段。國(guó)外某公司于2024年向公众展示了首个产品“心灵感应”（Telepathy），即通过手术等方式，直接将電(diàn)极植入到受试者的大脑皮层，以获得高质量的神经信号。展示中，首位接受脑机接口设备植入的患者，可(kě)以借助该设备移动计算机光标。同时，國(guó)内也有(yǒu)研究团队成功将无線(xiàn)微创半侵入式脑机接口，植入了两名瘫痪患者的颅内，成功采集到感觉运动脑區(qū)神经信号，使两位患者实现了自主脑控喝(hē)水，并成功用(yòng)脑電(diàn)信号控制電(diàn)脑光标移动。但是，脑机接口的植入物(wù)需要替换一块头骨，因此，采用(yòng)该技术仍然存在一定的伦理(lǐ)和社会问题。

人机协作為(wèi)人机交互赋能(néng)

人机协作是建立在成熟的人机交互手段之上的智能(néng)技术，以达到人机协同完成任務(wù)的目的，一般可(kě)以分(fēn)為(wèi)人类单向指挥机器和人机双向合作两种模式。

单向指挥的人机协作模式，往往依赖于人通过传统的交互方式指挥机器完成一些重复性操作。例如，人类通过简单的指令或者多(duō)轮对话，基于鼠标键盘等传统交互手段，使用(yòng)大模型让机器完成一些简单的创作（生成文(wén)本、图片、视频）。但是，普通用(yòng)户并不精通如何对机器发号施令，会浪费大量时间去配合机器。如对大模型输入提示词进行设置，然后浏览机器返回的内容，这些内容很(hěn)可(kě)能(néng)无法达到人类的要求。此外，通过声音、眼神、表情等信号，基于更先进的人机交互技术，人类可(kě)以遠(yuǎn)程控制手机或者智能(néng)家居设备完成操作。

人机双向合作往往采用(yòng)语音等多(duō)模态信号，但普遍存在指令不清晰、机器无法完成预计指令效果等问题。如智能(néng)音箱有(yǒu)时听不懂或者发生识别错误，导致人类需要不断重复指令却没有(yǒu)提升效果。在这种模式下，机器收到人类的指令信号后，试图完成相关任務(wù)，并将结果展现给人类；如果人类不满意，就需要多(duō)次重复前述的交互过程，直到任務(wù)圆满完成，或者因不满意而放弃，不再继续。

筆(bǐ)者认為(wèi)，虽然还面临诸多(duō)难题，但双向合作的人机协作模式将会是未来的发展方向，而如何实现人机协作优势互补，而不是单向指挥，是新(xīn)一代人机协作技术需要解决的难题。

双向合作的人机协作模式主要依赖于两种能(néng)力，一种是机器能(néng)否真正理(lǐ)解人类指令的能(néng)力，另一种是机器适当地与人类配合，帮助我们完成任務(wù)。后一种模式需要借助更高级的人机交互技术。

人机协作共同创作的场景，可(kě)以帮助我们理(lǐ)解这种模式。人类有(yǒu)天马行空的巧思，机器则善于快速完成重复性工作。当人和机器共创一篇文(wén)章、一幅画作时，人类可(kě)以在关键段落、关键局部进行创造性构思，而机器可(kě)以瞬间领会人类的意图，帮其完成其他(tā)部分(fēn)。进一步地，当人和机器共同执行多(duō)个复杂的、包含一定随机性的决策任務(wù)时，人类可(kě)以在关键时间节点对关键信息进行判断，而机器可(kě)以在领会人类意图的基础上，在短时间内完成其他(tā)操作，同时检查决策中的一些漏洞和错误，还可(kě)以总结和梳理(lǐ)决策后的反馈信息，以供后续决策参考。在这一过程中，是人类的思路和在关键节点的操作，带着机器协同推进完成任務(wù)，而不是像单向指挥模式那样，将所有(yǒu)任務(wù)一股脑丢给机器去自主完成。

人机交互如何升级到人机协作

人机交互技术只是人机协作的底层沟通手段，还需要定义与设计在特定或通用(yòng)任務(wù)中，人与机器的动作空间（即人和机器分(fēn)别可(kě)以做哪些动作），人与机器操作对象空间（即人和机器所做动作的对象有(yǒu)哪些），以及學(xué)习算法（即机器正确理(lǐ)解人的操作的算法）。

打个比方，人在一个特定环境中（如厨房），其动作空间、操作对象空间，都是相对固定的，所能(néng)完成的任務(wù)也是有(yǒu)限的。在这个环境中，无论是特定的任務(wù)，还是通用(yòng)的开放式任務(wù)，人机协作应是有(yǒu)章可(kě)循的——我们不允许机器脱离人类可(kě)控的范畴，进行超出权限或违规的操作。因此，机器人需要學(xué)习算法，才能(néng)够真正看懂、听懂、理(lǐ)解人类的操作，去实现真正的双向合作模式的人机协作。

进一步，更加复杂的任務(wù)需要多(duō)人、多(duō)机协作技术，这将涉及任務(wù)的分(fēn)工、管理(lǐ)与执行，考验人类对人机交互与协作系统的设计与理(lǐ)解，毕竟大多(duō)数任務(wù)是由人类发起的。

例如，在复杂系统监测任務(wù)中，面临海量的样本数据，机器可(kě)以帮助人类快速筛选出可(kě)能(néng)的预警样本，而人类需要对筛选出的预警样本做最后的决策，人类甚至可(kě)以将一部分(fēn)简单的决策工作交给机器去执行。但是，如何定义预警样本的筛选标准，以及如何在多(duō)人和多(duō)个机器之间划分(fēn)决策工作的比例，将关系到整个任務(wù)执行的准确率和人工成本。试想，如果一个任務(wù)，多(duō)人协作都无法妥善完成，那么多(duō)人、多(duō)机协作是否可(kě)以胜任？所以，新(xīn)一代人机协作技术除了定义上述动作空间、操作对象空间、學(xué)习算法之外，还需要有(yǒu)一套标准化的流程，以便自动对复杂任務(wù)进行理(lǐ)解与分(fēn)工，在保证任務(wù)执行准确率的前提下减少对人工的依赖。

最后，即使完成了人机协作分(fēn)工，仍面临其他(tā)诸多(duō)挑战。第一，机器不会懈怠，但人不一定一直是合格的协作者。那么，机器是否还需要反过来监测人类的协作质量，并在需要的时候，做出适当的补充？第二，当机器一旦可(kě)以部分(fēn)或者完全替代人类工作的时候，人类是否具备足够的能(néng)力控制机器，以防机器拥有(yǒu)自主智能(néng)之后犯错，甚至作恶？第三，人机协作还会涉及数据隐私泄露的问题，特别是在复杂任務(wù)中，机器会存在被动泄露数据的风险。已有(yǒu)的研究证明，使用(yòng)大模型过程中，会出现因為(wèi)数据“投喂”不当，造成敏感数据泄露等问题。

这些问题还没有(yǒu)答(dá)案，但我们不能(néng)裹足不前，而是要在发展中解决问题。我们坚信，未来的人机交互会更流畅更便捷！（作者：边凯归，系北京大學(xué)计算机學(xué)院研究员）