随着机器人进入日常生活中的各个方面，人们对其提出了更高的规定，希望他们具备感知人类心灵、意图的素养，这类机器人称为情感机器人。情感机器人的发生将颠覆传统的人机交互方式，实现人与机器人的情感交互。用人工的方式跟科技带给机器人以人类式的心灵，使情感机器人具有辨识、理解跟表达喜乐哀怒的能力。

目前，机器人革命尚未开启“互联网＋情感＋智能”的时代，这就要求机器人具有情感。面对国内外市场对情感机器人的迫切需求，突破人机交互及情感计算等相关领域的关键科技刻不容缓。因此，提高机器人的智能化水平，使其无法认知周围的环境，理解人类的心灵、意图跟服务意愿，自适应地与客户进行人机交互，根据客户的意愿或者环境信息的差异来提供优质的服务，已变成新一代智能机器人的演进趋势。

情感计算

情感计算就是赋予计算机像人一样的观察、理解跟表达各种感情特质的素养，最终让计算机可与人进行自然、亲切和生动的交互。情感计算以及在人机交互系统中的应用将会变成未来人工智能的一个重要研究方向。

什么是情感计算？

情感计算的概念是在1997 年由麻省理工学院（Massachusetts Institute of Tech-nology，MIT）媒体实验室Picard 教授强调的，她指出情感计算与情感相关，源于情感或无法对情感施加影响的计算。1999 年人类情感，北京科技大学王志良教授强调了人工心理理论，对人的感情、意志、性格、创造等心理活动进行探究。人工心理理论以人工智能现有的理论跟技巧为基础，是人工智能的继承跟发展，有着更广泛的内容。中国科学院自动化研究所胡包刚研究员等也借助自己的探究，提出了情感计算的定义，认为情感计算的目的是借助赋予计算机识别、理解、表达和适应人的感情的素养来构建和谐人机环境，并让计算机带有更高的、全面的智能。

心理学和思维科学对感情计算的演进起了巨大的推动作用。心理学研究证实，情感是人与环境之间某些关系的保持或改变，当外界环境的发展与人的意愿及愿望符合时会引起人切实肯定的情感，反之则会引起人负面否定的感情。情感是人心态在生理上一种较复杂更加稳固的生理评价和感受，在生理反应上的体现包括喜、怒、忧、思、悲、恐、惊七种基本情感。情感原因通常影响着他们的理智判断跟决策，因此他们经常以防止“感情用事”来提醒自己跟别人。但感情因素对人们的妨碍也不都是负面的，根据心理学和医学的相关研究成果，人们即使失去了一定的感情能力，如理解跟表达感情的素养，那么感性的决策跟判断是无法超过的。不少学者觉得情感能力是人类智能的重要标志，领会、运用、表达情感的素养发挥着比特色的智力更为重要的作用。

情感计算是一门综合性很强的科技，是人工智能情感化的关键一步。情感计算的主要探究内容包含：分析情感的体系，主要是情感状态界定及与生理跟行为之间的关系；利用多种传感器获得人当前情感状态下的行为特性与生理差异信息，如语音信号、面部表情、身体姿态等体态语以及心率、皮肤电、脑电等生理指标；通过对情感信号的剖析与处理，构建情感建模将情感量化，使机器人具有认知、识别并理解人心灵状态的素养，从而使心灵变得易于表达；根据情感分析与决策的结果，机器人能够对于人的情感状态进行情感表达，并作出行为反应。

近年来，随着情感计算科技的迅速发展，人机情感交互和情感机器人已作为人机交互和情感计算领域的探究热点，其内容涵盖物理、心理学、计算机科学、人工智能和思维科学等诸多学科。人机情感交互就是要实现计算机识别和表达心灵的功能，最终使人与计算机才能进行自然、和谐的交互。当前，基于语音、面部表情、手势、生理信号等方法的人机情感交互系统跟情感机器人的研发获得了一定的成果，它在远程教育、医疗美容、助老助残、智能驾驶、网络虚拟游戏跟服务机器人等各种领域有着广阔的应用前景。

不能理解怎能陪伴：情感计算关键技术

情感计算中关键的两个技术环节是怎样使机器无法识别人的情感、如何按照人的情感状态形成跟表达机器的情感。虽然情感计算是一门新兴学科，但前期心理学、生理学、行为学和脑科学等相关学科的研究成果已经为情感计算的研究确立了稳固的基础。目前，国内外关于情感计算的探究已经在情感识别和情感合成与表达方面，包括语音情感识别与合成表达、人脸表情识别与合成表达、生理信号情感识别、身体姿态情感识别与合成表达等，取得了初步成果。

1

情感识别现状

情感识别是借助对情感信号的特点提取，得到可最大限度地表征人类情感的情感特性数据，据此进行模型，找出情感的外在表象数据与内在感情状况的映射关系，从而将人类当前的内在心灵类型识别出来。在情感计算中，情感识别是很重要的探究内容之一。情感识别的研究主要包含语音情感识别、人脸表情识别和生理信号情感识别等。目前，我国关于情感识别的探究已经非常普遍，例如，清华大学、中国科学院、北京航空航天大学、北京科技大学、哈尔滨工业大学、东南大学、上海交通大学、中国地质大学（武汉）等多所高校和科研机构参加了情感识别相关课题的探究。

1）语音情感识别

MIT 媒体实验室Picard 教授带领的情感计算研究队伍在1997 年就开始了针对语音情感的研究。在语音情感识别方面，该队伍的成员Fernandez 等研发了车辆驾驶语音情感识别系统，通过语音对司机的情感状态进行预测，有效降低了汽车行驶过程中因不好情感状态而导致的危险。美国南加利福尼亚大学语音情感研究团队以客服平台为应用背景，致力于语音情感的声学分析与合成，并对积极心态和负面情绪两种感情状况进行甄别。该团队将语音情感识别科技集成到语音对话平台中人类情感，使计算机才能非常自然、和谐地与人进行交互。

在中国，中国地质大学（武汉）自动化学院情感计算团队对独立人和非独立人的语音情感识别进行了深入的探究，他们对说话人的声学特性跟韵律特征进行探讨，提取了独立说话人的语音特点跟非独立说话人的语音特点。清华大学蔡连红教授带领的人机语音交互研究室也开展了语音情感识别的研究。在语音情感识别方面，他们主要是对于普通话，对其韵律特征进行预测。但由于语音的声学特性非常复杂，不同人之间的声学差异较大，所以现在对于非独立人之间的语音情感识别科技还必须进一步研究。

2）人脸表情识别

人脸表情识别是情感识别中十分关键的一部分。在人类交流过程中，有55%是借助面部表情来完成情感释放的。

20 世纪70 年代，美国心理学家Ekman 和Friesen 对现代人脸表情识别做了开创性的工作。Ekman 定义了人类的6 种基本表情：高兴、生气、吃惊、恐惧、厌恶跟悲伤，确定了识别对象的类型；建立了面部动作编码系统（facial action coding system，FACS），使研究者能够根据平台划分的一系列人脸动作单元来表述人脸面部动作，根据人脸运动与表情的关系，检测指纹面部细微表情。随后，Suwa 等对人脸视频动画进行了人脸表情识别的最初尝试。随着模式识别与图像处理技术的演进，人脸表情识别科技得到迅猛发展与广泛的应用。目前，大多数情感机器人（如MIT 的Kismet 机器人、日本的AHI 机器人等）都带有较多的人脸表情识别能力。

在我国，哈尔滨工业大学高文教授队伍首先启用了人脸表情识别的研究成果。随后，北京科技大学王志良教授团队将指纹表情识别算法应用于机器人的情感控制研究中。中国地质大学（武汉）刘振焘博士和陈略峰博士对于人脸表情识别科技展开研究并将其采用到多模态人机情感交互平台中。另外，清华大学、中国科学院等都对面部表情识别有深入的探究。但是因为人类心灵和表情的复杂性，识别算法的有效性和鲁棒性还不能完全超过实际应用的规定，这些都是未来研究中有待解决的难题。

3）生理信号情感识别

MIT 媒体实验室情感计算研究团队最早对生理信号的情感识别进行研究，同时也证明了生理信号利用到情感识别中是可行的。Picard 教授在最初的试验中引入肌电、皮肤电、呼吸和血容量搏动4 种生理信号，并提取他们的24 维统计特性对这4 种情感状态进行识别。德国奥格斯堡大学计算机学院的Wagner 等对心电、肌电、皮肤电跟呼吸4 种生理信号进行探讨来分辨高兴、生气、喜悦和痛苦4 种心情，取得了很好的效果。韩国的Kim 等研究看到通过检测心脏脉搏、皮肤导电率、体温等生理信号可以有效地识别人的情感状态，他们与三星公司合作研发了一种基于多生理信号短时监控的情感识别系统。

在我国，基于生理信号情感识别的探究起步较晚，北京航空航天大学毛峡教授团队对不同情感状态的生理信号进行了初步的研究。江苏大学和上海交通大学也对生理信号的情感识别进行了探究，建立了自己的生理信号情感识别数据库，从心电信号、脑电信号等进行特征提取和辨认。西南大学的刘光远教授等对生理信号的情感识别进行了深入的探究，并出版著作《人体生理信号的心灵分析方式》。

生理信号在信号表征的过程中带有一定的个体差异性，目前的探究还基本处在实验室阶段，主要借助刺激材料导致被试的相应情绪状况，而不同个体对于同一刺激材料的反应也会存在一定的差别，因此能否解决不同个体之间的差异性仍然是生理信号情感识别方面一个亟待解决的症结。

2

情感合成与表达状况

机器不仅识别、理解人的情感之外，还必须进行情感的反馈，即机器的心灵合成与表达。人类的感情很难用指标量化，机器则恰恰相反，一堆冷冰冰的零部件被装配上去，把看不见摸不着的“情感”量化成机器能理解、表达的数据产物。与人类的心灵表达形式类似，机器的情感表达可以借助语音、面部表情跟手势等多模态信息进行释放，因此机器的情感合成能分为情感语音合成、面部表情合成和肢体语言合成。

1）情感语音合成

情感语音合成是将充满表现力的情感加入特色的语音合成科技。常用的方式有基于波形拼接的制备方式、基于韵律特征的合成途径和基于统计参数特性的合成途径。

基于波形拼接的制备方式是从事先制定的语音数据库中选取合适的语音单元，如半辅音、音节、音素、字等，利用这种片段进行拼接处理受到想要的情感语音。基音同步叠加技术就是利用该办法实现的。

基于韵律特征的合成途径是将韵律学参数加入情感语音的合成中。He 等提取基音频率、短时能量等韵律学参数构建韵律特征模板，合成了具有情感的语音信号。

基于统计参数特性的制备方式是借助提取基因频率、共振峰等语音特点，再利用隐马尔可夫模型对特性进行练习得到模型参数，最终合成情感语音。Tokuda 等采用统计参数特性的合成途径建立了情感语音合成平台。MIT 媒体实验室Picard 教授带领的情感计算研究队伍开发了世界上第一个情感语音合成平台——Affect Editor，第一次尝试使用基频、时长、音质跟清晰度等光学特性的差异来合成情感语音。

2）面部表情合成

面部表情合成是运用计算机科技在屏幕上合成一张带有表情的指纹图像。常用的方式有4 种，即基于生物肌肉模型的方式、基于样本统计的方式、基于伪肌肉模型的方式跟基于运动向量分析的方式。

基于物理肌肉模型的方式模拟头部肌肉的弹性，通过弹性网格构建表情模型。基于样本统计的方式对收集好的表情数据库进行练习，建立人脸表情的合成建模。基于伪肌肉模型的方式运用样条曲线、张量、自由曲面变形等方式模拟肌肉弹性。基于运动向量分析的方式是对头部表情向量进行预测得到基向量，对这种基向量进行线性组合得到合成的表情。

荷兰数学跟计算机科学中心的Hendrix 等强调的CharToon 系统借助对情感圆盘上的7 种已知表情（中性、悲伤、高兴、生气、害怕、厌恶跟惊讶）进行插值生成各种表情。荷兰特温特大学的Bui 等推动了一个基于模糊规则的脸部表情生成系统，可将动画Agent 的7 种表情跟6 种基本情感混合的表情映射到不同的3D 人脸肌肉模型上。我国西安交通大学的Yang 等强调了一种交互式的借助局部约束的人脸素描表情生成方式。该办法通过样本表情图像获取面部颜色跟相关运动的预先信息，再结合统计人脸模型和用户输入的约束条件受到输出的表情素描。

3）肢体语言合成

肢体语言主要包含手势、头部等背部的姿态，其合成的科技是借助分析动作基元的特点，用运动单元之间的运动特性构造一个单元库，根据不同的必须选用所需的运动交互合成相应的动作。由于身体腰部自由度较高，运动控制非常困难，为了丰富虚拟人运动合成细节，一些研究运用高层语义参数进行运动合成控制，运用各类控制科技推动合成运动的情感表达。

日本东京工业大学的Amaya 等强调一种由中性无表情的运动形成情感动画的方式。该办法首先获得人的不同情感状态的运动状况，然后计算每一种情感的情感转变，即中性和情感运动的差别。Coulson 在Ekman 的情感模型的基础上成就了6 种基本情感的相应身体语言建模，将各类姿态的界定描述转换成用数据定量分析各种肢体语言。瑞士洛桑联邦理工学院的Erden 根据Coulson 情感运动模型、NAO 机器人的自由度和关节运动视角范围，设置了NAO 机器人6 种基本情感的姿态的不同肢体语言的关节角度，使得NAO 机器人能够借助肢体语言表达相应的情感。

在我国，哈尔滨工业大学研发了多功能感知机，主要包含表情识别、人脸辨识、人脸检测与追踪、手语识别、手语合成、表情合成和唇读等功能，并与海尔公司合作研究服务机器人；清华大学进行了基于人工情感的机器人控制机制结构研究；北京交通大学进行了多功能感知和情感计算的交融研究；中国地质大学（武汉）研发了一套基于多模态情感计算的人机交互系统，采用多模态信息的交互模式，实现语音、面部表情跟手势等多模态信息的情感交互。

虽然情感计算的研究尚未获得了一定的成果，但是依然遭受众多挑战，如情感信息收集技术难题、情感识别算法、情感的理解与表达问题，以及多模态情感识别科技等。另外，如何将情感识别科技运用到人性化和智能化的人机交互中也有一个值得深入探究的课题。显然，为了缓解这种弊端，我们必须理解人对环境感知并且情感跟意图的形成与表达机制，研究智能信息收集设施来获得非常严谨跟精确的情感信息，需要从算法层面和模型层面进行深入钻研，使得机器无法高效、高精度地识别出人的情感状态并形成跟表达相应的情感。为了使人机交互更加自然和谐，在感情计算研究中也应考虑到自然画面对人的生理跟行为的妨碍，这些都是情感计算在未来有待突破的关键。

情感计算的应用

随着情感计算科技的演进，相关的研究成果已经广泛应用于人机交互中。人机交互是人与机器之间借助媒体或方法进行交互。随着科学技术的不断进步跟深化，传统的人机交互终于满足不了他们的还要。由于传统的人机交互主要借助生硬的机械化方式进行，注重交互过程的便利性和准确性，而忽视了人机之间的感情交流，无法理解跟适应人的心态或心情。如果缺少亲情理解跟表达能力，机器就能够具备与人一样的智能，也很难实现自然和谐的人机交互，使得人机交互的应用得到局限。

由此可见，情感计算对于人机交互设计的重要性日益明显，将情感计算能力与计算设备有机结合才能帮助机器正确感知环境，理解用户的情感跟企图，并作出合适反应。具有情感计算能力的人机交互系统已经应用到许多方面，如健康医疗、远程教育和安全驾驶等。

在健康医疗方面，具有情感交互能力的智能平台能借助智能可穿戴设备及时捕捉用户与心态变化相关的生理信号，当观测到用户的心态波动较大时，系统能迅速地调节用户的心态，以防止健康隐患，或者强调养生的建议。在远程教育方面，应用情感计算可以减少学习者的学习兴趣与学习效率，优化计算机辅助人类学习的功能。在安全驾驶方面，智能辅助驾驶系统可以借助面部表情识别，或者眼动、生理等情感信号动态检测司机的情感状态，根据对司机情绪的剖析与理解，适时适当地提出劝告，或者立即阻止异常的驾驶行为，提高道路交通安全。

除了在人机交互方面的应用，情感计算还利用到他们的日常生活中，为人类提供更好的服务。

在电子商务方面，系统能借助眼动仪追踪客户浏览设计方案时的眼睛轨迹、聚焦等参数，分析这种参数与用户关注度的关联，并记录用户对商品的兴趣，自动分析其倾向。另外有探究表明，不同的图像可以导致人不同的心态。例如，蛇、蜘蛛跟枪等图片可导致恐慌，而有长期金钱和黄金等的截图则可以使人高兴跟愉悦。如果电子商务网站在设计时考量很多原因对用户情绪的制约，将对提高客流量产生相当积极的作用。

在家庭生活方面，在信息家电和智能设备中提高自动感知他们心情状态的功能，可提升他们的生活质量。

在信息检索方面，通过情感分析的概念解读功能，可以减少智能信息检索的精度和强度。

另外，情感计算还可以应用在机器人、智能玩具跟游戏等相关行业中，以建立非常拟人化的风格。

本文摘编自吴敏，刘振焘，陈略峰著《情感计算与情感机器人系统》第1章，内容略有删减改动。（配图来源：百度图片）

《情感计算与情感机器人系统》

作者：吴敏，刘振焘，陈略峰