真是王炸!用一句话就可以模拟世界万物?开源生成式物理引擎Genesis...
4121 2
实名

通过了实名认证的内容创造者

发布于 2024-12-26 11:15:04

您需要 登录 才可以下载或查看,没有账号?注册

x
点击上方蓝字CG世界关注我们
再点右上角···设为星标★当你以为Houdini依然走在最前沿,还原真实物理世界还得Houdini的时候,殊不知已经悄悄的变天啦!最近由学术界的半壁江山:清华、北大、港大、CMU、马里兰、哥伦比亚、斯坦福、MIT以及产业界英伟达、太极图形,MIT-IBM Watson AI Lab的联合助阵打造了一款生成式物理引擎Genesis!
a51717f148e84c66f8a94fac5b1b2182.png
Genesis它可以一句话生成完整精确的模拟物理世界,而且开源![micxp_wxonkey]wxv_3774567565478019074[/micxp_wxonkey]Genesis是一个全面的物理模拟平台,专为通用机器人、具身AI和物理AI应用而设计。它同时具有多种属性:它是一个从头开始重建的通用物理引擎,能够模拟各种材料和物理现象。它是一个轻量级、超快速、Python化和用户友好的机器人仿真平台。它是一个强大而快速的照片级写实渲染系统。它是一个生成式数据引擎,可将用户提示的自然语言描述转换为各种数据模式。
695ca0783c45d81b1c248924b7c038e2.gif

它的的物理引擎用纯Python代码开发,同时比现有的GPU加速堆栈(如英伟达Isaac Gym和开源的MJX)快10-80倍。它提供的模拟速度比现实世界快约43万倍,这意味着开发者可以加速进行物理模拟,大大的缩短开发周期。

Genesis与常用的基于CPU和GPU的机器人模拟器的速度比较。除此之外,它还有强大的训练能力,只需26秒即可在单个RTX4090上训练能转移到真实机器人的运动策略。重要的是,提高的速度并不会影响仿真精度!Genesis从头开始实现了一个统一的模拟框架,集成了大量最先进的物理求解器,允许在虚拟领域中以最高的真实感模拟整个物理世界。Genesis支持模拟各种物理现象,包括但不限于刚体、关节体、布料、液体、烟雾、可变形体、以及机器人肌肉等。接下来,我们就一块看看示例!别可着小编一个人目瞪口呆!
01生成4D动态和物理世界
Genesis的物理引擎基于VLM的生成式智能体提供支持,此智能体使用模拟基础设施提供的API作为工具来创建4D动态世界,然后将其用作提取各种模式数据的基础数据源。结合生成相机和物体运动的模块,Genesis能够生成物理上精确且视图一致的视频和其他形式的数据。

模拟一层巧克力酱

模拟绞碎泡沫


模拟星球太空船


模拟子弹穿破水球


模拟字母糖


模拟充气人偶
[micxp_wxonkey]wxv_3774673997887963151[/micxp_wxonkey]完整版视频▲
02角色动作生成

如图所示,许多复杂的动作和效果都可以通过提示词来快速生成,从示例中看的出来Genesis将物理世界的规则理解的很好!


提示:手持棍棒的迷你版悟空在桌面上飞奔3秒,然后跳到空中,落地时右臂向下摆动。镜头从他的脸部特写开始,然后稳定地跟随角色,同时逐渐缩小。当猴子跳到空中时,在跳跃的最高点,动作暂停几秒钟。镜头围绕角色360度旋转,然后缓慢上升,继续动作。
[micxp_wxonkey]wxv_3774683863830790147[/micxp_wxonkey]完整版视频▲


03机器人策略Genesis使用智能机器人和模拟物理环境来自动创造各种情境下机器人的操作方法和动作例子。这样,科学家们可以在一个仿真的世界里迅速得到遵循真实物理规则的机器人活动模式,并且这些模式可以有效地应用到实际的机器人身上。下面展示了一些不同形态的机器人执行不同任务的示例。

一个移动的Franka机械臂使用碗和微波炉做爆米花

移动式franka机械臂将地板上的所有物品都扔进篮子里

由24(4x6)架无人机组成的机队一起从地面起飞并一起进行翻转

Unitree Go2 四足机器人在雨中奔跑 (模拟)

Unitree H1人形机器人单脚跳跃

Unitree H1-2人形机器人向前行走

四足机器狗双重后空翻

四足机器人用前两条腿做倒立 (Sim2Real)
043D和完全交互场景生成
Genesis还支持3D和完全交互式场景生成:

家庭室内场景,有客厅(包括用餐区)、卫生间、书房和卧室

餐厅内部[micxp_wxonkey]wxv_3774697101758676996[/micxp_wxonkey]完整版视频▲
05开放世界铰接式物体
生成开放世界中铰接物体的mesh资产,已经超过了人工标注的结果,更多的细节将在后续的论文发布时一并公开。


06软体机器人
Genesis还是首个为软肌肉和软机器人及其与刚性机器人的交互提供全面支持的平台。不光可以模拟各种刚性物体,针对软性的机器人也能够实现逼真的模拟。

蠕虫

柔软的抓手操纵盒子并拿起笔帽

软皮肤和刚性骨骼的混合机器人
07面部动画和声音
Genesis 还支持生成带有语音同时还能在面部表情不断变化的同时,保持口型与说话内容的匹配,实现更丰富的仿真体验。


[micxp_wxonkey]wxv_3774874741186674690[/micxp_wxonkey]人物情绪从中性转变为愤怒,然后再转变为快乐


除了上述演示之外,还有一个用Genesis打造的俄罗斯方块游戏,其中的方块是果冻材质的,一块看看它的表现!

看得出来,Genesis不同于特效师们精心制作,它可以轻松的一键导出,并且能以符合现实的物理规律运动来生成物理世界。在之前我们接触的都是一句话生成视频,现如今一句话可以生成物理世界了!或许AI距离真正理解物理世界的日子似乎没那么遥远了.......这个项目大约经过24个月的大规模研究合作,涉及20多个研究实验室,Genesis一经宣布,项目迅速在X 获得数十万人关注。好多网友表示Genesis的出现让Sora都显得逊色!也有网友表示,这还有Houdini什么事么?不知道在座的各位看完Genesis的表现有何看法呢?来聊一聊~开源地址:https://github.com/Genesis-Embodied-AI/Genesis项目页面:https://genesis-embodied-ai.github.io/文档地址:https://genesis-world.readthedocs.io/en/latest/
注意:目前Genesis的技术论文还未发布
end




含糖量超标!她把名人照片都建模成了各种卡通甜妹


CG+传统手绘,《头文字D》这续篇有点东西


Octane2026.1 alpha加入了AI渲染?


AI生成的乱网格模型有救了!?

本帖被以下画板推荐:

内容主要涵盖影视特效,CG动国,前沿CG技术,作品欣賞
使用道具 <
啱买完菜翻来  发表于 2025-1-7 16:57:41  
3#
回复 收起回复
使用道具
Angry_llz  发表于 2024-12-27 15:23:48  
2#
回复 收起回复
使用道具
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部 返回列表