近日,由英伟达与麻省理工学院研究人员组成的Efficient-Large-Model团队,在HuggingFace发布视频增强项目Open-H3-Regenerate-2K的模型权重,配套推理代码已在NVlabs/Sana仓库开放。该方案基于MiniMaxH3,将低分辨率视频草稿重新生成为高分辨率视频,支持2560×1440的2K输出,最高可实现3840×2160的原生4K重生成。
MiniMaxH3的完整系统包含多模态上下文处理、基础音视频生成和高分辨率重生成等环节。其中,已开放权重的H3-Base负责生成768P音视频,官方H3-Regenerate-2K模块通过API提供服务。此次发布的项目复用H3基础模型的生成能力,为高分辨率重生成环节提供了一套可自行部署的开放实现。
在细化模型的训练阶段,研究团队保持H3Transformer主干与视频VAE的原有参数不变,仅训练新增的细化LoRA。推理时,细化LoRA与LightX2VFL2VATurbo、LMSSharp等社区适配器合并使用,通过三步去噪,在目标分辨率下重新生成画面细节。视频草稿中的场景、布局和运动信息,则为这一过程提供基础。
为提高推理效率,项目采用社区开发的潜空间放大器,直接放大视频的潜在表示,减少高分辨率下重复解码、编码的开销。同时,方案结合SoL-Engine的稀疏注意力、低精度计算和快速VAE解码器,对细化与解码环节进行加速。
项目团队公布的测试显示,在单张NVIDIAB200GPU、预热后的测试条件下,一段约5秒视频的潜空间放大、三步细化和2K解码合计耗时,由未优化实现的87.26秒降至22.45秒,处理速度约为原来的3.9倍。其中,快速解码器将视频解码耗时从约15秒降至约1.6秒。
画质方面,项目团队在RefinerBench-150上进行了对比评测。在相同输入、相同2K输出条件下,Open-H3-Regenerate-2K在感知质量评测UniPercept上的平均分为60.0,官方H3-Regenerate-2KAPI为53.4。VBench评测中,该方案的美学质量、成像质量和主体一致性得分更高,官方API在运动平滑度和动态程度上仍略优。
MiniMaxH3在今年8月开放权重,围绕H3展开的微调、蒸馏和工具适配迅速增多,吸引了海内外研究团队与社区开发者参与,一个月内下载量超过2400万次,产生超过300个公开衍生模型,H3成为2026年全球下载量最高的模型之一。
其中,英伟达与MIT联合围绕H3的开发覆盖了不同方向。除本次视频增强方案外,该团队还发布了基于H3Ref2VA构建的流式视频渲染模型StreamRender-H3,以及从H3视频VAE蒸馏而来的快速解码器Sol-H3-VAE,分别面向交互式视频渲染和解码效率优化。
此前,LightX2V推出的MiniMax-H3Turbo提供四步、八步等蒸馏版本,社区微调模型Singularity则着重优化动作表现、面部细节与视觉风格。海外团队FastVideo、Pika也分别发布了FastH3四步预览版本和六步采样的PikaH3Flex;ComfyUI、Unsloth则通过适配权重和量化版本,将H3带入更多本地创作工作流。