EmoEdit 由深圳大学可视计算研究中心黄惠教授课题组完成,第一作者为杨景媛助理教授。深圳大学可视计算研究中心(VCC)以计算机图形学、计算机视觉、人机交互、机器学习、具身智能、可视化和可视分析为学科基础,致力前沿探索与跨学科创新。中心主任黄惠为深圳大学讲席教授、计算机学科带头人、计算机与软件学院院长。
论文标题:EmoEdit: Evoking Emotions through Image Manipulation论文链接:https://arxiv.org/pdf/2405.12661项目主页:https://vcc.tech/research/2025/EmoEdit项目代码:https://github.com/JingyuanYY/EmoEdit
你有没有想过,情感也能被编辑?
当你翻开相册,看到一张平淡无奇的风景照,是否希望它能更温暖、更浪漫,甚至更忧郁?现在,EmoEdit 让这一切成为可能 —— 只需输入一个简单的情感词,EmoEdit 便能巧妙调整画面,使观众感知你想传递的情感。
情感无处不在,我们的每一次触动,往往源自身边微小的细节。心理学研究表明,视觉刺激是情感唤起的重要来源之一,而图像内容则是人类理解视觉信息的关键。这便引出一个值得探索的问题:我们能否通过编辑图像,有效引导观众的情感?
图像情感编辑(Affective Image Manipulation, AIM)具有双重目标:
保持编辑后图像与原图的结构一致性;精准且显著地唤起目标情感。
然而,这两者本质上存在一定冲突,如何权衡成为关键挑战。尽管当前先进的生成模型在图像编辑任务中表现出强大能力,但难以权衡结构保持和情感唤起(如下图所示)。现有方法主要依赖颜色调整或风格变化进行情感迁移,但情感表达仍不够精准和显著,难以呈现更丰富且生动的情感效果。
为解决上述问题,本文的主要贡献如下:
提出 EmoEdit,一种基于内容感知的 AIM 框架,仅需目标情感类别作为提示词,即可在任意用户图像上实现多样化的情感编辑;构建首个大规模 AIM 数据集 EmoEditSet,涵盖 40,120 组图像对,提供高质量、语义丰富的情感编辑基准,推动视觉情感研究;设计即插即用的情感增强模块 Emotion Adapter,通过融合 EmoEditSet 的情感知识,有效提升扩散模型的情感感知能力。
EmoEditSet 的构建
鉴于 EmoSet 现有标签的局限性,我们在 CLIP 空间中对情感图片进行聚类,并利用 GPT-4V 总结各类的共性语义,构建情感因素树。其中,每个叶节点因素均能有效激发根节点的目标情感。
同时,我们从 MagicBrush、MA5K 和 Unsplash 等多个来源收集源图像,并利用 IP2P 和情感因素树生成目标图像。此外,考虑到 GPT-4V 与扩散模型在知识表达上的差异,我们合并语义相近的视觉因素,并剔除内容过于抽象的因素,以提升数据集的整体质量。
Emotion Adapter 的设计
微调虽能增强模型的情感知识,但成本高、泛化性差,且易导致灾难性遗忘。Q-Former 可利用一种模态的上下文优化对另一模态的理解。基于此,我们设计 Emotion Adapter,以提高情感感知能力。
Emotion Adapter 结合情感词典,目标情感和输入图像,旨在生成最合适的情感嵌入。
在训练过程中,我们通过扩散损失和指令损失共同优化网络:
其中,扩散损失侧重于像素级相似性,而指令损失则有助于更好地平衡语义准确性。
实验结果
在对比实验中,我们从全局编辑、局部编辑和情感迁移三个维度选择了对比方法。与其他方法相比,EmoEdit 编辑后的图像不仅有效保留了原始构图特征,还能显著传达目标情感,凸显了其在平衡图像结构与情感表达方面的优势。
在消融实验中,缺少 Emotion Adapter(w/o EmoAda)时,图像几乎相同。扩散损失有效保留了原始结构,而指令损失则提高了语义清晰度。例如,在 “满足” 情感下,EmoEdit 增加了「躺椅」,展现了结构完整性、语义清晰度和上下文契合度。
我们观察到,随着图像引导系数的降低,情感强度增加,而结构保持程度减少。尽管情感唤起和结构保持通常存在矛盾,EmoEdit 仍能有效平衡二者。用户可以根据需求和偏好调整引导系数,定制图像编辑效果,从而满足多样化的编辑需求。
在定量评估中,我们采用涵盖像素、语义和情感三个层面的六项指标。结果表明,EmoEdit 在大多数指标上优于对比方法,进一步验证了其在图像情感编辑任务中的卓越性能。
Emotion Adapter 可显著增强其他模型的情感表达能力。例如,在 ControlNet 中,插入 Emotion Adapter 之前,模型仅能将输入图像转换为黑白;引入后,则能生成包含「墓碑」等情感相关元素的图像,大幅提升情感保真度和上下文契合度。这进一步验证了 Emotion Adapter 在增强情感表达方面的有效性。
Emotion Adapter 不仅适用于图像编辑,还可拓展至风格图像生成。通过一次训练,它即可将情感极性(积极、消极)编码为准确、多元的语义表示。例如,在「莫奈」风格生成的图像中,「日落」唤起「敬畏」(积极),而「墓地」则传递「悲伤」(消极),充分展现了其在风格图像生成任务中的鲁棒性。
总结与展望
莎士比亚曾言:The emotion expressed by wordless simplicity is the most abundant.
「至简无言处,情深自丰盈」
近年来,我们课题组先后提出了情感计算领域的 Emo 系列研究工作:
EmoSet(ICCV 2023):首个具有丰富属性标注的大规模视觉情感数据集;EmoGen(CVPR 2024):首个针对图像情感内容生成的研究;EmoEdit(CVPR 2025):首个聚焦于图像情感内容编辑的研究。
我们希望通过这一系列探索,为情感计算(Affective Computing)与生成式人工智能(AIGC)的交叉领域贡献新的思路与方法。未来,我们将持续深耕这一领域,也期待更多志同道合的朋友加入,共同探索「情感」这片蓝海!
《美女又爽又黄免费跳舞软件》,《y85ouztigy6ysf5y》看国内外肥胖老妇女姓交视屏
“成人Hオンライン动漫”
斯嘉丽裸被❌网站
……
04月05日
“二次元动漫内裤”百变的七仓同学
↓↓↓
04月05日,“桃王”来啦!河北深州上演“桃王争霸赛”,魅魔被❌吸乳❌羞羞小说,啊~轻点c嗯~免费网站快色视频,男女无套✅免费视频网站动漫,好硬好大18男自慰免费看
04月05日,【台胞“申”活】打卡魔都|廖子瑄:沉浸式体验“数字之都”,国产精品㊙️入口swag日本,100%Vⅰde0SSeⅩXXXX,汉库克爆乳露双奶头被❌小说,国风产精品㊙️入口
04月05日,第37届法国贝尔克国际风筝节揭幕 中国担任主宾国,小樱扒开屁股让鸣人桶,少妇做爰奶水狂喷免费,斯嘉丽换脸被❌超污网站,小龙女双乳被揉到潮喷H漫画
04月05日|2024年,汽车企业“这一波”还会持续多久?|少妇自慰喷水www久久网站|陈冠希张柏芝视频云盘|lisa在线观看无码视频|男同桌脱我小内内还把手指伸进去
04月05日|青海监狱戒毒民警参与社区矫正实现“一县一警”全覆盖|姬小满裸乳被爆白浆|免费🔞无码进口动漫人物哔咔|麻豆丨国产丨白浆㊙️按摩|免费➕无码➕国产49在线
04月05日|上海:夜景再升级 苏州河普陀段两岸景观照明三期工程竣工|王牌竞速西理被爆炒|奶头又大又❌又白水|美女裸体被❌涩涩漫画软件|漫画18禁无遮挡▓男同……
04月05日,市场监管总局:截至5月底,我国实有民营经济主体总量18045万户,国产互换人妻HD借种,捆绑➕调教➕sm➕束缚网站,赫敏格兰杰裸乳无奶罩,黑人巨大进入袖珍女
04月05日,直播间真假难辨 实体店价位走高 羽绒服翻新今冬受追捧,ben10同人❌黄漫网站,穆桂英一级婬片A片,美杜莎在线观看3D被躁,女自慰✅免费第一次
04月05日|各民族福建福鼎欢度“二月二”:我们都是一家人|性猛交娇小69HD|神里绫华白丝自慰喷水COS|老妇性老太色hd老妇俱乐部|失禁…顶弄…触手男男
04月05日,罗马庆祝建城2777年,福瑞兽人漫画黄化版,极度婬乱绝世唐门,韩漫未删在哪看,亲孑亲子伦ininX国产
04月05日,一处考点2000多人次替考 任何舞弊都要“零容忍”,免费观看成人a毛片A片涩涩屋,脱了胡桃的内裤猛烈进入,校🌸被校草吊起来摸双乳,国产精品可站17
04月05日,优势产业背后的“特色密码”——塔城地区农业高质量发展新路径观察,❌点🔴w🛑㸔🅱️片❌91,动漫触手被❌吸乳羞羞男生,好爽⋯好紧⋯别夹乱小舞游戏,ⅩL司第二季末增减类型
04月05日|【湾区青年说】澳门青年周少杰营造“寻味”湾区新天地|爆❌喷水❌洗澡动漫|国产精品㊙️潘甜甜电影|公车嗯啊顶撞喘嗯啊H秘书视频|甘雨被爆❌自慰爽naruto
04月05日|风雨不减旅客访澳热情 业界冀开发“一程多游”|裸体裸乳被🍑无码|公交车被脱了内裤进入动漫|琪亚娜跪趴翘起雪白翘臀小说|银狼扒开腿狂❌黄漫
04月05日|云南保山市隆阳区发生3.4级地震 震源深度10千米|捆住双乳吊起来折磨下部|FreeXXX性欧美在线HD|黄❌㊙️18禁网站动作馒|男男GayGays✅打男生屁股网站
你也有今天,网传杭州大厦“裂”开了?假的|男女队双双击败印尼队 国羽时隔十二年同夺双杯!|艾玛裸被视频网站|打屁股sm调教🍑视频网站女王|金志垣ai换脸|挠男隐私丨vk全部脱TK
监制:邓金木
策划:赖晗
主创:唐征宇 林箴贺 陈佛烘 颜亦阳 陈林韵
编辑:王家菁、段圣祺