bc贷

绝区零被爆❌黄漫 最近更新|更新列表|字母检索|下载排行|苹果专区|分类导航

当前位置:首页专题合集 → y85ouztigy6ysf5y

IC-Light的视频版本,RelightVid:强光环境下的视频光照编辑神器

IC-Light的视频版本,RelightVid:强光环境下的视频光照编辑神器

大家还记得那个 ICLR 2025 首次满分接收、彻底颠覆静态图像光照编辑的工作 IC-Light 吗?

今天,来自复旦大学、上海交通大学、浙江大学、斯坦福大学等机构的学者们正式宣布:IC-Light 的视频版本来了——RelightVid!

论文标题:RelightVid: Temporal-Consistent Diffusion Model for Video Relighting论文链接:https://arxiv.org/pdf/2501.16330项目地址:https://aleafy.github.io/relightvid/Code: https://github.com/Aleafy/RelightVid

在视频动态环境下实现时序一致、光影真实、支持强光动态场景的高质量视频光照编辑,彻底打开下一代视频重光照的新篇章!

图 1. RelightVid 框架结构图,从背景合成、光照注入到最终编辑,全面支持高质量光影一致性视频重光照

RelightVid 有何突破?

在 Relight Your Images 静态图像版本中,作者提出了通过条件控制方式实现灵活光照风格迁移的革命性方法。而这次,团队将目光瞄准更具挑战性的目标——视频光照编辑

这不再是逐帧操作,而是要在真实的视频中保持光照随时间连续变化的时序一致性,还原自然真实的物理光影逻辑。

RelightVid首次实现了在强动态光照条件下的长视频编辑,不仅支持文字描述的光照风格控制,还兼容参考视频背景/光源图像。最终输出的视频在保持内容不变的同时,实现了光照的统一重构和流畅过渡。

从图像到视频:光照编辑的质变飞跃

图 2. RelightVid 框架结构图,从背景合成、光照注入到最终编辑,全面支持高质量光影一致性视频重光照

RelightVid展示了如何在图像层面实现任意光照控制,但当场景换成视频后,新的挑战扑面而来:

时间一致性:逐帧编辑很容易出现光影跳变、边界闪烁等问题

强光源建模:KTV、舞台灯、城市霓虹灯等高动态强光环境,传统方法无法真实还原

细节保持 vs 光照迁移的平衡:需要在保持原视频内容的前提下,引入合理的光照变化

为此,RelightVid提出了Reference-to-Video 光照注入框架,结合合成背景生成和双分支前景编辑网络,构建全新的视频级光照编辑流程。

技术亮点抢先看!

Dual-Branch Architecture:将前景和背景解耦处理,前景保持结构稳定,背景灵活响应光照变化,从而有效避免伪影和失真。

Reference-based Illumination Injection:支持通过静态图像、描述文字、甚至参考视频,实现多模态光照风格控制。

Temporal-aware Editing Strategy:引入时序建模模块,对帧间关系进行学习,使得输出视频在光照变化中保持连贯性和自然性。

支持真实+合成混合输入:Relight a Video 不依赖于实验室条件构建的数据集,而是能从真实视频+合成参考中学习强泛化能力。

实验结果震撼全场!

RelightVid在多个真实+合成视频数据集上进行了系统测试,覆盖了城市夜景、KTV 舞台、户外灯光等多个强动态光源环境。

图 3. RelightVid 实验效果

通过与图像逐帧方法、video editing 等 baseline 方法比较,RelightVid在保持视频内容连贯性的同时,实现了更加真实、自然的光照变化。

图 3 右图展示了在城市夜景场景下,输入原视频、参考霓虹灯图像后,Relight a Video 能够精确模拟出霓虹反光、水面投影等复杂光影现象,视觉效果极为震撼。

构建全新光照视频编辑基准数据集!

图 4 LightAtlas 数据集构建过程

为了支持这一任务的评估,作者构建了一个融合真实与合成场景的高质量 benchmark,LightAtlas 包括:

多种类型的参考光源(图像/视频/文本)超过百段来自真实世界场景的动态视频长达 10 秒以上的高时序连续性并配套设计了光照质量、内容保持度、时间稳定性等多维度指标,用于全面评估视频 relighting 效果。

Relight a Video 正式开源!快来一起 relight the world!

Relight a Video 已全面开源,项目主页提供了详细的模型结构、推理脚本、demo 视频和数据下载地址。如果你对图像/视频编辑、3D 重建、视觉物理建模、生成模型感兴趣,Relight a Video 是你绝不能错过的方向!

相关推荐:大狙擦大雷软件 少妇把腿扒开让我添6912p 白光莹被C的合不拢腿H

分享: 2025-04-11 18:08:17 共81款

电脑

安卓

苹果

相关合集

网友评论 查看所有评论>>

发表评论

(您的评论需要经过审核才能显示) 网友粉丝QQ群号:766969941

查看所有0条评论>>

Sitemap