bc贷

搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

CVPR 2025 _ EmoEdit:情感可编辑?深大VCC带你见证魔法!

2025-04-06 15:26:49
来源:

猫眼电影

作者:

姜明安

手机查看

  猫眼电影记者 吴春忠 报道y85ouztigy6ysf5y

EmoEdit 由深圳大学可视计算研究中心黄惠教授课题组完成,第一作者为杨景媛助理教授。深圳大学可视计算研究中心(VCC)以计算机图形学、计算机视觉、人机交互、机器学习、具身智能、可视化和可视分析为学科基础,致力前沿探索与跨学科创新。中心主任黄惠为深圳大学讲席教授、计算机学科带头人、计算机与软件学院院长。

论文标题:EmoEdit: Evoking Emotions through Image Manipulation论文链接:https://arxiv.org/pdf/2405.12661项目主页:https://vcc.tech/research/2025/EmoEdit项目代码:https://github.com/JingyuanYY/EmoEdit

你有没有想过,情感也能被编辑?

当你翻开相册,看到一张平淡无奇的风景照,是否希望它能更温暖、更浪漫,甚至更忧郁?现在,EmoEdit 让这一切成为可能 —— 只需输入一个简单的情感词,EmoEdit 便能巧妙调整画面,使观众感知你想传递的情感。

情感无处不在,我们的每一次触动,往往源自身边微小的细节。心理学研究表明,视觉刺激是情感唤起的重要来源之一,而图像内容则是人类理解视觉信息的关键。这便引出一个值得探索的问题:我们能否通过编辑图像,有效引导观众的情感?

图像情感编辑(Affective Image Manipulation, AIM)具有双重目标:

保持编辑后图像与原图的结构一致性;精准且显著地唤起目标情感。

然而,这两者本质上存在一定冲突,如何权衡成为关键挑战。尽管当前先进的生成模型在图像编辑任务中表现出强大能力,但难以权衡结构保持和情感唤起(如下图所示)。现有方法主要依赖颜色调整或风格变化进行情感迁移,但情感表达仍不够精准和显著,难以呈现更丰富且生动的情感效果。

为解决上述问题,本文的主要贡献如下:

提出 EmoEdit,一种基于内容感知的 AIM 框架,仅需目标情感类别作为提示词,即可在任意用户图像上实现多样化的情感编辑;构建首个大规模 AIM 数据集 EmoEditSet,涵盖 40,120 组图像对,提供高质量、语义丰富的情感编辑基准,推动视觉情感研究;设计即插即用的情感增强模块 Emotion Adapter,通过融合 EmoEditSet 的情感知识,有效提升扩散模型的情感感知能力。

EmoEditSet 的构建

鉴于 EmoSet 现有标签的局限性,我们在 CLIP 空间中对情感图片进行聚类,并利用 GPT-4V 总结各类的共性语义,构建情感因素树。其中,每个叶节点因素均能有效激发根节点的目标情感。

同时,我们从 MagicBrush、MA5K 和 Unsplash 等多个来源收集源图像,并利用 IP2P 和情感因素树生成目标图像。此外,考虑到 GPT-4V 与扩散模型在知识表达上的差异,我们合并语义相近的视觉因素,并剔除内容过于抽象的因素,以提升数据集的整体质量。

Emotion Adapter 的设计

微调虽能增强模型的情感知识,但成本高、泛化性差,且易导致灾难性遗忘。Q-Former 可利用一种模态的上下文优化对另一模态的理解。基于此,我们设计 Emotion Adapter,以提高情感感知能力。

Emotion Adapter 结合情感词典,目标情感和输入图像,旨在生成最合适的情感嵌入。

在训练过程中,我们通过扩散损失和指令损失共同优化网络:

其中,扩散损失侧重于像素级相似性,而指令损失则有助于更好地平衡语义准确性。

实验结果

在对比实验中,我们从全局编辑、局部编辑和情感迁移三个维度选择了对比方法。与其他方法相比,EmoEdit 编辑后的图像不仅有效保留了原始构图特征,还能显著传达目标情感,凸显了其在平衡图像结构与情感表达方面的优势。

在消融实验中,缺少 Emotion Adapter(w/o EmoAda)时,图像几乎相同。扩散损失有效保留了原始结构,而指令损失则提高了语义清晰度。例如,在 “满足” 情感下,EmoEdit 增加了「躺椅」,展现了结构完整性、语义清晰度和上下文契合度。

我们观察到,随着图像引导系数的降低,情感强度增加,而结构保持程度减少。尽管情感唤起和结构保持通常存在矛盾,EmoEdit 仍能有效平衡二者。用户可以根据需求和偏好调整引导系数,定制图像编辑效果,从而满足多样化的编辑需求。

在定量评估中,我们采用涵盖像素、语义和情感三个层面的六项指标。结果表明,EmoEdit 在大多数指标上优于对比方法,进一步验证了其在图像情感编辑任务中的卓越性能。

Emotion Adapter 可显著增强其他模型的情感表达能力。例如,在 ControlNet 中,插入 Emotion Adapter 之前,模型仅能将输入图像转换为黑白;引入后,则能生成包含「墓碑」等情感相关元素的图像,大幅提升情感保真度和上下文契合度。这进一步验证了 Emotion Adapter 在增强情感表达方面的有效性。

Emotion Adapter 不仅适用于图像编辑,还可拓展至风格图像生成。通过一次训练,它即可将情感极性(积极、消极)编码为准确、多元的语义表示。例如,在「莫奈」风格生成的图像中,「日落」唤起「敬畏」(积极),而「墓地」则传递「悲伤」(消极),充分展现了其在风格图像生成任务中的鲁棒性。

总结与展望

莎士比亚曾言:The emotion expressed by wordless simplicity is the most abundant.

「至简无言处,情深自丰盈」

近年来,我们课题组先后提出了情感计算领域的 Emo 系列研究工作:

EmoSet(ICCV 2023):首个具有丰富属性标注的大规模视觉情感数据集;EmoGen(CVPR 2024):首个针对图像情感内容生成的研究;EmoEdit(CVPR 2025):首个聚焦于图像情感内容编辑的研究。

我们希望通过这一系列探索,为情感计算(Affective Computing)与生成式人工智能(AIGC)的交叉领域贡献新的思路与方法。未来,我们将持续深耕这一领域,也期待更多志同道合的朋友加入,共同探索「情感」这片蓝海!

??时事1:韩国主播BJ大尺度福利视频

??04月06日,韩媒关注“福宝”在华亮相:“又见‘福宝’,可爱依旧”,

  “这是……至宝啊!”老族长声音发抖,祖传药鼎竟然这般非凡。

,18🈲乳液啪啪红桃免费漫画。

??04月06日,欧盟候任高官:孤立主义从未给美国带来好结果,

  四野是一双双碧绿的眼睛,巨狼环绕,一个个鼻间喷吐白气,血盆巨口中獠牙狰狞,凶煞气息令人浑身冰寒。

,玖辛奈被扒开腿坐做❌同人游戏,91扒开内给男人桶换脸,阮梅被❌自慰爽死。

??时事2:全黄一级裸片

??04月06日,周雅琴:等待结果非常煎熬,拿到银牌很满意,

  “那对夫妻若是死在貔貅的爪下,或者因其他原因殒落在外面,一切就完美无瑕了。”她轻声自语,嘴角有一丝冷意。

,鞭打+玩弄+跪趴+调教+抹春药,高跟鞋细跟办公室老师脱鞋,护士治疗男性功能障碍。

??04月06日,澳区青年政协委员魏立新:为创客架桥 为产业谋路,

  期末考试之前,我们各个小组、各位同学都确立了自己的奋斗目标,订立了具体的奖惩措施。很多同学为了实现自己的奋斗目标,憋着一股劲,珍惜时间,勤学好问,你追我赶,奋力争先,很多同学取得了进步。陈厚斌、陈晓、王振、吴鹏、李天宇、刘艺、孙立杰、崔雪、张鹏、王书晓、杨瑞盛、陈绍康、张杰、吴瑶、潘雅欣、牟浩、张幸运、齐磊、夏玉成、荆汉、贾绍宇、韩淑慧、肖彤、任民、董胜飞、曹庆龙、董震、曹庆生、赵光瑞等同学取得了程度不一的进步,而刘培、徐梦珍、梁兴伦、刘金燕、赵丽、王秀娟、陈金霞、史璨、王美美、张石等同学保持了比较高的水平,我们同时热切期盼耿贤博、古梦蕾、刘婷婷、张钰莹、陈宝强、崔涛、李梦楠、房金鹏、王威、唐浩、侯明娇、王安琪等同学能够奋起直追,尽快把成绩赶上来。

,女人正常私密图片,十八禁🔞裸体福利姬cos,艾达王同人18禁本子在线看。

??时事3:16位妓女撒尿视频在线观看

??04月06日,中国驻叙利亚大使馆紧急提醒在叙中国公民尽快回国或离境,

  下面介绍火场逃生要点

,国产TS系列变性TS阿茶,❤魅魔の足を罚す樱花动漫,关晓彤AI裸体❌❌喷水动漫。

??04月06日,中国祝阳传拓之乡暨乡村文化旅游节启动,

银行信用卡逾期催收流程是什么,起诉会坐牢吗
,扒开芙宁娜白嫩的屁股视频,我被穿了乳环剃了毛的视频,花火被狂❌到高潮在线看。

??时事4:中国裸男体秘无遮挡

??04月06日,2024年全国劳模疗休养活动在京启动,

  在军训中涌现了一些优秀学生和典型事迹。很多同学带兵坚持训练。在输完液,打完针后继续坚持训练,表现出较强的意志力。特别是新生林家文、战婷婷两位同学在军训中晕倒了,但他们调整后稍好一些就坚持训练,这种坚强、坚持的精神值得弘扬。这次军训中大家表现都很出色,有诸多收获。有的同学说通过军训懂得了约束自己,学会了坚持和克服困难,学会了和同学团结,更能吃苦了,组织纪律观念得到增强,按时返校按时参加军训项目,个人素质得到很大提升,经过综合考核,有18名学生被评为军训标兵。

,茶茶底tklvk,莫莉被诸神抓住玩弄双乳斩神,粗大与亲女伦交换H。

??04月06日,《黑神话:悟空》全球销量破千万套 巧译中华文化受好评,

  1、各教研组大多能按照学校的要求,认真开展教研教改活动。

,散兵被愚人众挤牛奶,玖辛奈穿黑白双煞,干了邻居新婚人妻倩倩。

责编:唐夫彦

审核:杨小柳

责编:李冬莱

相关推荐 换一换

    Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

    Sitemap