露出 户外

新智元报谈

剪辑：定慧

【新智元导读】Nvidia 刚刚发布了「寰宇生成」模子 Cosmos-Transfer1，不错证实多种模态的空间狂妄输入（如分割、深度和边际）生成寰宇模拟，使得寰宇生成具有高度可控性。劝诱者使用模子八成创建高度传神的模拟环境，用于磨练机器东谈主和自动驾驶车辆。

Nvidia 带着最新「黑科技」模子 Cosmos-Transfer1 轰动登场，不错创建高度传神的模拟环境，反向生成「信得过寰宇」！

Cosmos-Transfer1，是一种自合乎多模态寰宇生成模子。不错证实多种模态的空间狂妄输入（如分割、深度和边际）生成信得过寰宇模拟。

矜重！右边的场景并非「信得过场景」，而通过 HD Map 高清舆图和 Lidar 雷达图及时「生成」的！

这种生成能力给将来数字寰宇带来太多思象力和可能性！

也有望科罚物理 AI 劝诱中的一个永久挑战：减轻模拟磨练环境与实践应用之间的差距。

信得过物理寰宇便是以多种模态被感知的，比如上图中的四个模态：RGB Camera、Lidar 雷达图、Depth 深度图和 HD Map 高清舆图。

Cosmos Transfer 使得高度可控的「寰宇生成」成为可能，并在各式寰宇到寰宇的调度用例中找到应用，包括 Sim2Real（编造模拟寰宇向现实寰宇调度）。

Cosmos Transfer 宏大的「寰宇生成」能力

最初通过基于信得过物理的引擎，如 Nvidia Omniverse、Genesis 等，生成罢免现什物理范例的模拟视频数据。

通过 Cosmos Transfer 来莳植模拟数据的信得过性和种种性。

Cosmos Transfer 不仅不错通过单一模态狂妄生成，也允许在不同的空间位置对不同的条款输入进行不同的加权。

单一模态狂妄生成

Cosmos Transfer 通过单一模态不错生成传神的现实场景。

下图展示了通过输入 Edge 边际图、Depth 深度图、Segmentation 分块图来生成诸如自行车维修车间、自动驾驶场景和信得过机械臂场景。

下图展示了通过输入 Blur Visual 腌臜场景图 、HD Map 高清舆图 、Lidar 雷达图来生成诸如机械臂操作、自动驾驶场景。

多模态狂妄生成

在 Cosmos-Transfer1 模子设想中，空间条款决策是自合乎和可定制的。 它允许在不同的空间位置对不同的条款输入进行不同的加权。

通过输入 HD Map 和 Lidar 雷达图，不错生成应用于自动驾驶磨练的信得过视频。

在多模态的基础上，Cosmos Transfer1 还引入了 Spatiotemporal Control Maps 时空狂妄权重图，狂妄权重图在玄色像素区域为 0.0，在白色区域为 0.5，是以在右侧生成的视频中，权重高的部分效果愈加显着。

露出 户外

一种输入，多种可能

除了不错单模态和多模态狂妄生成视频，Cosmos Transfer1 也能生成多种现实格调的内容。

比如下图输入高清舆图 HD Map，不错生成 5 种不同格调的视频：Night 夜景、Foggy 大雾天气、Daytime 白昼、Snow 雪天和 Night，Rainy 夜晚下雨天。

输入 Lidar 雷达 图，不异不错生成 5 种不同 格调的 视频内容 。

格调变换

同期，Cosmos Transfer 不错将生成的视频内容进行格调变换 。

对生成的视频格调可变换为 Modern 当代格调、Simplistic 节约风和 Warm 格调。

以下是 Modern 当代格调、Bakery 风和 Sci-Fi 科幻格调。

机械臂的模拟 视频 可生成 Factory 工场 格调、Construction Site 建筑场景格长入 Living Room 起居风等 。

岂论是单一模态、多模态一经生成各式格调的视频，Cosmos Transfer 齐进展出不俗的能力。

「寰宇生成器」Cosmos Transfer1 技能道路

多模态可控寰宇生成是指基于分割、深度和边际等多模态视频输入生成寰宇模拟视频的问题。

Cosmos-Transfer1 是一个具有自合乎多模态狂妄的寰宇生成器。它包含多个狂妄分支，用于从不同的模态输入（如分割、深度和边际）中索求狂妄信息。

应用时空狂妄图 w={w1，w2，…，wN} 来加权由狂妄分支预备出的输出，然后再将其响应到主生因素支。

时空狂妄图使模子八成愚弄不同区域中最磋磨的模态以赢得最好输出质地。

Cosmos-Transfer1 磨练恶果展示

Nvidia 第一个 Cosmos-Transfer1 的达成被称为 Cosmos-Transfer1-7B。

使用 1024 个 NVIDIA H100 GPU 对每个狂妄分支进行 2 到 4 周的磨练，具体时间取决于模态。

以上展示使用疏浚领导在各个单独模态（Vis、Edge、Depth、Seg）建设下，Cosmos-Transfer1-7B 的生成视频效果。

Cosmos-Tr ansfer1-7B [ Vis ] 在保捏神采和合座构图的同期，改革了纹理细节。

Cosmos-Transfer1-7B [ Edge ] 在改革神采的同期保捏了物体范围。

Cosmos-Transfer1-7B [ Depth ] 保捏了场景几何结构。

Cosmos-Transfer1-7B [ Seg ] 保捏了场景语义。

Cosmos-Transfer1-7B-Sample-AV 是相称为自动驾驶设想的模子。

Cosmos-Transfer1-7B-Sample-AV [ HDMap ] 保留了驾驶场景的原始谈路布局。

Cosmos-Transfer1-7B-Sample-AV [ LiDAR ] 保留了输入的语义细节。

临了，Nvidia 还磨练了一个 Upscale ControlNet，将生成的视频从 720p 莳植到 4k 诀别率。

鄙人图中展示了 4K Upscaler 的例子，4K Upscaler 版块称为 Cosmos-Transfer1-7B-4KUpscaler。

Cosmos-Transfer1-7B-4KUpscaler 将视频从 720p 莳植到 4k 诀别率！

效果评估

为了评估 Cosmos-Transfer1 的特质，Nvidia 悉心谋划了 TransferBench ——一个包含 600 个示例的评估数据集。

最初是单模态和多模态的对比。

对各式 Cosmos-Transfer1 配置在 TransferBench 上的定量评估，计议统统模态的模子赢得了最高的 Quality Score。

其次，对不同格式（Vis、Edge、Depth 和 Seg）的计议不同的权重进行计议。

狂妄权重在玄色像素区域为 0.0 ，在白色区域为 0.5 。

矜重到，固然标题直率指定了一个自行车修理店的场景，但由于这些像素受到 Vis 和 Edge 的狂妄，蓝色衬衫上的白色记号和男人的肤色保捏不变。

另一方面，关于由 Depth 和分割狂妄的配景，物体在场景中的位置保捏一致，但其神采和纹理被当场化（举例红色器用箱、黄色三脚架、白色修理架）。模子还在右侧墙上添加了一个新的器用架。

另一个例子是 Cosmos-Transfer1 在机器东谈主数据生成中的示例终端。

左列泄露由 NVIDIA Lab 生成的基于物理引擎的编造输入视频，而右边三列则展示了使用不同领导词在单模态和多模态狂妄下的 Cosmos-Transfer1-7B 生成终端。

Nivdia Cosmos 平台

NVIDIA Cosmos 是一个以劝诱者为先的寰宇基础模子平台，旨在匡助物理东谈主工智能劝诱者更快更好地构建他们的物理东谈主工智能系统。Cosmos 包含：

1. 预磨练模子（可通过 Hugging Face 获取），这些模子在 NVIDIA 绽开模子许可下允许免费生意使用。

2. 在 Apache 2 许可下的磨练剧本，用于对各式下贱物理 AI 应用的模子进行后磨练。

Cosmos-Transfer1 模子可通过 Hugging Face 获取。

参考贵府：

https://github.com/nvidia-cosmos/cosmos-transfer1

https://x.com/_akhaliq/status/1902187161841000938

https://huggingface.co/papers/2503.14492露出 户外