猫眼电影
猫眼电影记者 帕布帕德 报道y85ouztigy6ysf5y
大家还记得那个 ICLR 2025 首次满分接收、彻底颠覆静态图像光照编辑的工作 IC-Light 吗?
今天,来自复旦大学、上海交通大学、浙江大学、斯坦福大学等机构的学者们正式宣布:IC-Light 的视频版本来了——RelightVid!
论文标题:RelightVid: Temporal-Consistent Diffusion Model for Video Relighting论文链接:https://arxiv.org/pdf/2501.16330项目地址:https://aleafy.github.io/relightvid/Code: https://github.com/Aleafy/RelightVid
在视频动态环境下实现时序一致、光影真实、支持强光动态场景的高质量视频光照编辑,彻底打开下一代视频重光照的新篇章!
图 1. RelightVid 框架结构图,从背景合成、光照注入到最终编辑,全面支持高质量光影一致性视频重光照
RelightVid 有何突破?
在 Relight Your Images 静态图像版本中,作者提出了通过条件控制方式实现灵活光照风格迁移的革命性方法。而这次,团队将目光瞄准更具挑战性的目标——视频光照编辑
这不再是逐帧操作,而是要在真实的视频中保持光照随时间连续变化的时序一致性,还原自然真实的物理光影逻辑。
RelightVid首次实现了在强动态光照条件下的长视频编辑,不仅支持文字描述的光照风格控制,还兼容参考视频背景/光源图像。最终输出的视频在保持内容不变的同时,实现了光照的统一重构和流畅过渡。
从图像到视频:光照编辑的质变飞跃
图 2. RelightVid 框架结构图,从背景合成、光照注入到最终编辑,全面支持高质量光影一致性视频重光照
RelightVid展示了如何在图像层面实现任意光照控制,但当场景换成视频后,新的挑战扑面而来:
时间一致性:逐帧编辑很容易出现光影跳变、边界闪烁等问题
强光源建模:KTV、舞台灯、城市霓虹灯等高动态强光环境,传统方法无法真实还原
细节保持 vs 光照迁移的平衡:需要在保持原视频内容的前提下,引入合理的光照变化
为此,RelightVid提出了Reference-to-Video 光照注入框架,结合合成背景生成和双分支前景编辑网络,构建全新的视频级光照编辑流程。
技术亮点抢先看!
Dual-Branch Architecture:将前景和背景解耦处理,前景保持结构稳定,背景灵活响应光照变化,从而有效避免伪影和失真。
Reference-based Illumination Injection:支持通过静态图像、描述文字、甚至参考视频,实现多模态光照风格控制。
Temporal-aware Editing Strategy:引入时序建模模块,对帧间关系进行学习,使得输出视频在光照变化中保持连贯性和自然性。
支持真实+合成混合输入:Relight a Video 不依赖于实验室条件构建的数据集,而是能从真实视频+合成参考中学习强泛化能力。
实验结果震撼全场!
RelightVid在多个真实+合成视频数据集上进行了系统测试,覆盖了城市夜景、KTV 舞台、户外灯光等多个强动态光源环境。
图 3. RelightVid 实验效果
通过与图像逐帧方法、video editing 等 baseline 方法比较,RelightVid在保持视频内容连贯性的同时,实现了更加真实、自然的光照变化。
图 3 右图展示了在城市夜景场景下,输入原视频、参考霓虹灯图像后,Relight a Video 能够精确模拟出霓虹反光、水面投影等复杂光影现象,视觉效果极为震撼。
构建全新光照视频编辑基准数据集!
图 4 LightAtlas 数据集构建过程
为了支持这一任务的评估,作者构建了一个融合真实与合成场景的高质量 benchmark,LightAtlas 包括:
多种类型的参考光源(图像/视频/文本)超过百段来自真实世界场景的动态视频长达 10 秒以上的高时序连续性并配套设计了光照质量、内容保持度、时间稳定性等多维度指标,用于全面评估视频 relighting 效果。
Relight a Video 正式开源!快来一起 relight the world!
Relight a Video 已全面开源,项目主页提供了详细的模型结构、推理脚本、demo 视频和数据下载地址。如果你对图像/视频编辑、3D 重建、视觉物理建模、生成模型感兴趣,Relight a Video 是你绝不能错过的方向!
??时事1:禁🔞水蜜桃🍑直播
??04月12日,2024北京国际电视技术研讨会在京开幕,
第五、要注意消防安全。不得私拉、乱接、乱用电线或插座,宿舍内不得使用明火和大功率电器,不得恶意破坏学校消防设施及电气设备。
,奇优影院🍏手机版。??04月12日,中国汽研全球汽车信息通信测评技术创新基地建成,
“爷爷,我要变强!”小不点从来没有像今天这般渴望力量,然而他在石村的修行到了顶点,没有什么可学的了。
,小🐔🐔伸进🈲🔞🔞原神,中国老妇❌❌❌❌2023,中国高清美女X❌X000。??时事2:古装舒淇五点全开
??04月12日,我驻缅甸使馆18日起将为符合条件的缅甸商务人员审发“澜湄签证”,
小不点心酸,他也是一个善良的孩子,也曾遭遇过一系列磨难,能够感受到对面那个孩子的心境与伤痛。
,别揉了~宝贝~都出水了,91精产国品一二三产区粉粉,丝袜无套多姿势。??04月12日,成都世运会倒计时一周年 “世运蓉港行”主题列车发车了!,
“他们也能进来,而且有很多人?”小不点讶异。
,白袜足球体育生猛c骚男网站,少妇婬荡呻吟久久久久久老牛,自慰被室友看见强行嗯啊男男。??时事3:娜维娅被打吐血
??04月12日,中新健康丨国内外心脑血管领域权威专家共绘疾病联合防控新路径,
邵永灵教授给大家讲了一个真实的故事:20__年1月4日,突尼斯的一个小贩穆罕默德·布瓦吉吉,由于城管人员矫枉过正滥用职权,他用自焚结束了自己的生命,这被普遍公认为是阿拉伯之春的起点。经过社交网络及部分新闻媒体催化,他的自焚身亡激发了阿拉伯世界多国人民起义反抗独裁暴政的民主革命,最终导致了阿拉伯世界的天翻地覆式的巨变。
,嗯嗯呢我要到了,解开女朋友乳尖吃奶视频,630A❌❌╳❌女人毛片。??04月12日,浙江队外援奥乌苏:中超风格多变 我找到了自己的节奏,
文明很小很小,但是只要每一个人都做一件文明的好事,就能使社会迈出一大步。在社会上迈出的每一小步也许微不足道,但是用处却很大很大。每一份文明就是一份力量,无数文明在一起就会产生一种无与伦比的力量,这种力量如破土的小苗,在每一个人的心里萌发。
,yy8y熊猫(5),zzijzzij日本丰满少妇,刘涛裸体毛毛片-百度贴吧。??时事4:人妖系列妇女玩人妖
??04月12日,美联社:哈里斯正式获得美国民主党总统候选人提名,
宗老战败,石渊这一脉无人可敌石子陵,这让人震撼,他才多大?二十几岁而已,就这般威压族中最强的一列人了!
,日本H漫画免费观看,同人动漫全集免费观看,别告诉妈妈网站入口。??04月12日,台湾青年逛航展 一手一台“飞机”模型,
“按照约定,昊儿应该留在这里养伤,他们这是不放心你啊,想掌握你的动态,怕你直接就杀回去。”一个老人说道。
,欧美人与🐴交,国产ChinaeseXXXHD刘婷,希格雯裸体被❌涩涩。责编:青墅
审核:解学智
责编:刘大琪