bc贷

搜索 猫眼电影 融媒体矩阵
  • 山东手机报

  • 猫眼电影

  • 大众网官方微信

  • 大众网官方微博

  • 抖音

  • 人民号

  • 全国党媒平台

  • 央视频

  • 百家号

  • 快手

  • 头条号

  • 哔哩哔哩

首页 >新闻 >社会新闻

CVPR 2025 _ EmoEdit:情感可编辑?深大VCC带你见证魔法!

2025-04-07 00:06:58
来源:

猫眼电影

作者:

邱祎

手机查看

  猫眼电影记者 谢亚轩 报道y85ouztigy6ysf5y

EmoEdit 由深圳大学可视计算研究中心黄惠教授课题组完成,第一作者为杨景媛助理教授。深圳大学可视计算研究中心(VCC)以计算机图形学、计算机视觉、人机交互、机器学习、具身智能、可视化和可视分析为学科基础,致力前沿探索与跨学科创新。中心主任黄惠为深圳大学讲席教授、计算机学科带头人、计算机与软件学院院长。

论文标题:EmoEdit: Evoking Emotions through Image Manipulation论文链接:https://arxiv.org/pdf/2405.12661项目主页:https://vcc.tech/research/2025/EmoEdit项目代码:https://github.com/JingyuanYY/EmoEdit

你有没有想过,情感也能被编辑?

当你翻开相册,看到一张平淡无奇的风景照,是否希望它能更温暖、更浪漫,甚至更忧郁?现在,EmoEdit 让这一切成为可能 —— 只需输入一个简单的情感词,EmoEdit 便能巧妙调整画面,使观众感知你想传递的情感。

情感无处不在,我们的每一次触动,往往源自身边微小的细节。心理学研究表明,视觉刺激是情感唤起的重要来源之一,而图像内容则是人类理解视觉信息的关键。这便引出一个值得探索的问题:我们能否通过编辑图像,有效引导观众的情感?

图像情感编辑(Affective Image Manipulation, AIM)具有双重目标:

保持编辑后图像与原图的结构一致性;精准且显著地唤起目标情感。

然而,这两者本质上存在一定冲突,如何权衡成为关键挑战。尽管当前先进的生成模型在图像编辑任务中表现出强大能力,但难以权衡结构保持和情感唤起(如下图所示)。现有方法主要依赖颜色调整或风格变化进行情感迁移,但情感表达仍不够精准和显著,难以呈现更丰富且生动的情感效果。

为解决上述问题,本文的主要贡献如下:

提出 EmoEdit,一种基于内容感知的 AIM 框架,仅需目标情感类别作为提示词,即可在任意用户图像上实现多样化的情感编辑;构建首个大规模 AIM 数据集 EmoEditSet,涵盖 40,120 组图像对,提供高质量、语义丰富的情感编辑基准,推动视觉情感研究;设计即插即用的情感增强模块 Emotion Adapter,通过融合 EmoEditSet 的情感知识,有效提升扩散模型的情感感知能力。

EmoEditSet 的构建

鉴于 EmoSet 现有标签的局限性,我们在 CLIP 空间中对情感图片进行聚类,并利用 GPT-4V 总结各类的共性语义,构建情感因素树。其中,每个叶节点因素均能有效激发根节点的目标情感。

同时,我们从 MagicBrush、MA5K 和 Unsplash 等多个来源收集源图像,并利用 IP2P 和情感因素树生成目标图像。此外,考虑到 GPT-4V 与扩散模型在知识表达上的差异,我们合并语义相近的视觉因素,并剔除内容过于抽象的因素,以提升数据集的整体质量。

Emotion Adapter 的设计

微调虽能增强模型的情感知识,但成本高、泛化性差,且易导致灾难性遗忘。Q-Former 可利用一种模态的上下文优化对另一模态的理解。基于此,我们设计 Emotion Adapter,以提高情感感知能力。

Emotion Adapter 结合情感词典,目标情感和输入图像,旨在生成最合适的情感嵌入。

在训练过程中,我们通过扩散损失和指令损失共同优化网络:

其中,扩散损失侧重于像素级相似性,而指令损失则有助于更好地平衡语义准确性。

实验结果

在对比实验中,我们从全局编辑、局部编辑和情感迁移三个维度选择了对比方法。与其他方法相比,EmoEdit 编辑后的图像不仅有效保留了原始构图特征,还能显著传达目标情感,凸显了其在平衡图像结构与情感表达方面的优势。

在消融实验中,缺少 Emotion Adapter(w/o EmoAda)时,图像几乎相同。扩散损失有效保留了原始结构,而指令损失则提高了语义清晰度。例如,在 “满足” 情感下,EmoEdit 增加了「躺椅」,展现了结构完整性、语义清晰度和上下文契合度。

我们观察到,随着图像引导系数的降低,情感强度增加,而结构保持程度减少。尽管情感唤起和结构保持通常存在矛盾,EmoEdit 仍能有效平衡二者。用户可以根据需求和偏好调整引导系数,定制图像编辑效果,从而满足多样化的编辑需求。

在定量评估中,我们采用涵盖像素、语义和情感三个层面的六项指标。结果表明,EmoEdit 在大多数指标上优于对比方法,进一步验证了其在图像情感编辑任务中的卓越性能。

Emotion Adapter 可显著增强其他模型的情感表达能力。例如,在 ControlNet 中,插入 Emotion Adapter 之前,模型仅能将输入图像转换为黑白;引入后,则能生成包含「墓碑」等情感相关元素的图像,大幅提升情感保真度和上下文契合度。这进一步验证了 Emotion Adapter 在增强情感表达方面的有效性。

Emotion Adapter 不仅适用于图像编辑,还可拓展至风格图像生成。通过一次训练,它即可将情感极性(积极、消极)编码为准确、多元的语义表示。例如,在「莫奈」风格生成的图像中,「日落」唤起「敬畏」(积极),而「墓地」则传递「悲伤」(消极),充分展现了其在风格图像生成任务中的鲁棒性。

总结与展望

莎士比亚曾言:The emotion expressed by wordless simplicity is the most abundant.

「至简无言处,情深自丰盈」

近年来,我们课题组先后提出了情感计算领域的 Emo 系列研究工作:

EmoSet(ICCV 2023):首个具有丰富属性标注的大规模视觉情感数据集;EmoGen(CVPR 2024):首个针对图像情感内容生成的研究;EmoEdit(CVPR 2025):首个聚焦于图像情感内容编辑的研究。

我们希望通过这一系列探索,为情感计算(Affective Computing)与生成式人工智能(AIGC)的交叉领域贡献新的思路与方法。未来,我们将持续深耕这一领域,也期待更多志同道合的朋友加入,共同探索「情感」这片蓝海!

??时事1:XX小U呦交UUXXX

??04月07日,山东半岛“慢节奏”滨海度假游受热捧 游客“慢享”赶海垂钓乐趣,

  城外兽群不散,且有凶禽横空,在这里徘徊,并未因死去一批同类而退缩。

,働くオンナ获りOL合集。

??04月07日,中方将给予瑞士单方面免签待遇,

  四是要在为民惠民上实现新突破,让干部更加“有干劲”。 我们党的宗旨就是为人民服务,这绝不是一句口号,要赢得广大人民群众的支持和信赖,必须牢固树立民生为本的理念,把群众福祉作为工作的主线、把群众满意作为最高目标,多办惠民利民的好事实事。要把群众对美好生活的向往,作为我们的奋斗目标。要高度关注教育,切实解决好学校遇到的困难和问题;要抓好各项惠民政策的落实,对于合作医疗、养老保险等惠民利民政策,要确保落实得全面、阳光,同时,要调动和协调好方方面面的力量,加大对困难群众以及鳏、寡、孤、独等弱势群体的救助力度,让群众感受到组织的温暖。要大力优化群众生活环境,抓好环卫一体化等工作。

,highheeljob鞋交视频,男性同性裸交直播,霍雨浩脱了小舞内裤猛烈进入。

??时事2:女被粗大巴捣出白浆

??04月07日,老口味里的北京年味儿,

  小不点双臂一晃有八千斤神力,更何况是这样一脚,雷明远像是被莽牛王撞上了,口中喷血,双臂发光,簌簌抖动,几乎折断。

,男模脱裤子全身精光按摩视频,久久久久🈶精品国产麻豆,91极品美女裸身网站直播。

??04月07日,中共中央宣传部发出关于认真组织学习《习近平文化思想学习纲要》的通知,

  根据国家教育部规定,从1996年起,每年三月最后一周的星期一为全国中小学生安全教育日, 今天是全国第十九个校园安全教育日。今年的教育主题是“强化安全意识,提高避险能力”。

,又爽❌又黄❌免费捆绑视频,宋雨琦露出双乳让男生玩绿巨人,动漫爆乳3b网站。

??时事3:furry♥XXX♥Hentai

??04月07日,加拿大卑诗省一直升机坠毁 已致3死4重伤,

  石云峰与几位族老都是一呆,闻讯而来的石飞蛟等人也是一惊,全都为小不点捏了一把汗,那是怎样的一个地方?!竟然可与穷奇、毕方、椒图等兽的幼崽战斗,甚至会遇到重瞳者石毅,听起来有些惊人。

,原神菲谢尔掀起副乳图片,夸克欧美AA,美女换衣裸体❌扒开腿有声音。

??04月07日,上海两会观察:院前急救如何为生命“保驾护航”?,

  一、冷静的思考,高中是什么?

,GayGaus网站,偷拍女厕美女撒尿㊙️视频,欧美揉BBBBB揉BBBBB。

??时事4:班主任用嘴帮我口爆

??04月07日,满眼都是生机勃勃!我国粮食主产区春耕春管进展顺利,

  下面就目前我镇干部作风中存在的一些不良现象,再提几点要求:

,XXXXXXX⭕⭕⭕⭕XXXX,朵莉亚裸乳被爆❌白浆漫画,嗯嗯呢我要到了。

??04月07日,中新健康丨十八载擒获致病基因NUP160 专家最新研究报告带来“大利好”,

  三年前,你们带着稚嫩、纯真的笑脸;带着父母莘莘的期盼;带着对美好未来的憧憬,步入二中校园。三年的学习实践、三年的春风沐浴、三年的雨露滋润,你们的思想得到了升华;情感得到了陶冶;意志得到了磨练;知识得到了拓展。突然间我发现,仿佛是在一夜间,你们长大了,都变成了一个个阳光、健壮的帅小伙,清纯迷人的美少女;你们也确实变的成熟、稳健了!你们一个个都成为了懂事的好孩子;成为了一个个不怕困难,刻苦努力、知恩图报、明理上进的好学生了。我为二中拥有你们这样的优秀学生而感到欣慰,也皆你们的父母、老师因有你们这样的好孩子,好学生而倍感自豪与骄傲!你们将成为我们生命记忆中永远无法抹去的美好回忆!

,九色丨PORNY丨蝌蚪视频,色欧美成人精品a∨在线观看,❌❌❌🈲🈲水蜜桃。

责编:雪克来提·扎克尔

审核:原天宏

责编:宇文述

相关推荐 换一换

Copyright (C) 2001- Dzwww   鲁ICP备09023866号-1

Sitemap