9000字!盘点SIGGRAPH 2024前沿CG技术
20351 2
实名

通过了实名认证的内容创造者

发布于 2024-7-4 16:41:36

您需要 登录 才可以下载或查看,没有账号?注册

x
点击上方蓝字CG世界关注我们“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”中国很有影响力影视特效CG动画领域自媒体
七月流火,烈日杲杲。如何度过炎炎夏日?去学习吧,学着学着心就凉了

。学习使人进步,知识带来快乐,沉浸式学习使我和我的小伙伴们忘记炎热~

别害怕,小编没有疯。不过是准备了点干货,想拉你们一起学习和进步,说一说SIGGRAPH2024。每一年SIGGRAPH都会带来全世界最为前沿的CG技术论文演示,为整个行业的技术发展起到推波助澜的作用。虽然都是论文阶段,但是根据以往的发展历程来看,很多技术后来都慢慢发展成了软件当中的一个功能或者发展成独立的更优秀的CG软件。所以每年的Siggraph都是CG人学习和了解前沿知识的一场巨大盛会,不久前大会发布将要在今年会议上展示的研究主题预告片。[micxp_wxonkey]wxv_3526897356828213250[/micxp_wxonkey]下面小编为大家整理了其中24篇前沿的CG技术论文,一起来看看吧~1PROGRESSIVE DYNAMICS FOR CLOTH AND SHELL ANIMATION用于模拟布料和薄壳结构的动态行为,是目前在计算机生成的动画中实现的最为真实的效果,对于创建超写实的数字布料、旗帜、树叶或其他薄而柔软物体的动画尤为有用。
4428fec9b5f1a5cdccc7b3a9e227581d.jpg
渐进动力学(Progressive Dynamics),是一种从粗到细、多层次细节的模拟方法。研究团队通过一系列复杂的测试来评估这项技术,包括压力测试、基准测试和动画设计任务。渐进动力学(Progressive Dynamics),能够以较低的计算成本生成初步的动画预览(这种效率与最粗糙级别的直接模拟相当);可以在不同精细程度的层次之间进行匹配和细化,最终生成高质量的高分辨率动画。
08abfe7cddcf5f7c26582591d5f6b522.gif
应用范围:能够处理包括高速动力学、碰撞、薄壳和织物的复杂动态以及褶皱、折叠和滑动细节等各种复杂的动画场景。2SCINTILLA:SIMULATING COMBUSTIBLE VEGETATION FOR WILDFiRES一种名为SCINTILLA的技术,用于模拟野火如何在各种可燃植被中蔓延和行为。这种模拟对于理解野火行为、预测火势蔓延、制定防火策略等方面都有重要意义。

由于涉及许多不同种类的可燃物(如树叶、树枝、腐烂的植物等) ,可燃物都会以不同方式影响火势的发展,因此野火是很复杂的存在。这项研究的目的就是开发一种新方法,可以更好地模拟野火中各种因素之间的相互作用(包括火势如何从地面蔓延到树冠、风吹散的余烬如何影响火势以及防火隔离带等人为干预措施的效果)。研究团队提出了一种新的,包括树枝形状、燃料湿度,以及草、小型燃料和腐殖质的分布情况在内的植被表示方法;模拟了火星和余烬如何引起新的火势,以及它们如何被风吹散。并通过多次实验和与真实野火数据的对比来验证模拟方法的准确性。

潜在应用:这项研究目的是通过更详细、更全面的计算机模拟来帮助人们更好地了解和应对森林火灾;未来对消防、森林管理和环境保护等领域有重要价值。3CWF CONSOLICATING WEAK FEATURES IN HIGH-QUALITY MESH SIMPLIFICATION一种新的网格简化方法,能在保持高质量的同时,可保留通常容易被忽视/丢失的细微特征。对于需要简化模型和细节保留之间取得平衡的应用场景特别有价值。

在3D建模时,经常需要简化面数多的模型来使它们更容易处理。但在精简过程中,大家都会面临一个问题,就是如何权衡精确度、三角形面数和特征保留三者间的问题,而现有算法通常只能平衡其中的两项。为此研究团队提出了一个全新的算法-CWP,能够同时考虑上面三个问题,主要包含了两个部分:保持模型精确度和确保点分布均匀。研究团队引入了一个“衰减权重”,用来平衡这两个部分,因此能够保留那些不太明显的特征。

研究团队使用了很多模型来测试新算法(包括100个工程设计模型和21个有机形状模型),并与其他方法进行了比较。证实CWP在保持模型精确度的同时,还能保留不明显的特征,并保证了三角形的质量。这对提高3D图形处理的质量和效率很有帮助。4FABRIC TESSELLATION,REALIZING FREEFORM SURFACES BY SMOCKING一种全新的织物造型技术,可以在平面布料上创建复杂、自由的3D形状。允许设计师/艺术家使用平面织物创造出富有立体感和复杂形状的作品。

以前"褶皱刺绣"(smocking)这项特殊缝纫技术,主要用来做平面形状或简单的曲面;现在研究团队结合了复杂的数学计算(方向场计算和优化),给定一个想要的褶皱刺绣图案,这个解决方案会输出一个相应的2D褶皱刺绣图案,图案可以通过缝合指定的点创造出来,最终就能得到接近目标形状的3D织物作品。

这项新技术可以用普通的布料,通过特殊的缝纫方式,制作出复杂的3D形状。在时装设计、艺术创作,甚至某些工业应用中有很大的潜力。5POSITICN-BASED NONLINEAR GAUSS-SEIDEL FOR QUASISTATIC HYPERELASTICITY一种新的计算方法,用于模拟超弹性材料在准静态条件下的行为。

基于位置的动力学(PBD)是一种常用的计算机模拟技术,一般在计算资源有限时使用。但PBD在模拟某些特殊材料(超弹性材料,如橡胶)的静态或缓慢变化状态时存在一些问题。因此研究团队提出了一种新方法,基于位置的非线性高斯-赛德尔方法:保留了PBD在计算资源有限时的稳定性;在有更多计算资源时可以得到更精确的结果;能够更好地处理材料内部不同部分之间的相互影响。

这种方法可以用来模拟各种超弹性材料在静态或缓慢变化条件下的行为,既能在计算资源有限时使用,又能在有更多资源时得到更精确的结果。6LAGRANGIAN COVECTOR FLUID WITH FREE SURFACE一种新的计算方法,可以更好地模拟复杂情况下的流体行为(特别是在处理液体表面和固体边界时)。

论文介绍了一种基于协向量流映射的新型拉格朗日流体求解器。研究团队的目标,是在复杂边界条件下为不可压缩流体,建立稳健的流映射求解器。核心思想是跟踪流体中每个小部分(粒子)的运动路径,并利用这些路径来计算流体的物理性质。研究团队使用"协向量流映射"这种数学工具来描述流体运动,设计了一种方法,将复杂的长距离计算转化为更简单的短距离计算,同时改进了处理液体表面和固体边界的方式。可以更好地模拟复杂情况下的流体行为,特别适合处理自由液体表面(如水波)和液体与固体的相互作用。

这种方法有望为计算机图形(如电影特效、游戏中的水面模拟)和工程模拟(如船舶设计、海洋工程)等领域带来重要改进。7CONTROLLABLE NEURAL STYLE TRANSFER FOR DYNAMIC MESHES这项研究目的是为3D动画模型提供一种灵活、可控的艺术风格转换方法,为数字视觉艺术带来新的可能性。

研究团队提出了一种新颖的网格神经风格迁移技术,可以改变3D动画模型的艺术风格。包括除静态模型外,用户还可以处理动态3D模型;可以控制风格变化的方向;在保持风格变化更加流畅自然的同时,还能确保在改变风格时不会改变模型的体积。能够实现高质量的网格风格化,为模拟和3D资产创造独特的外观。这样的话你就可以用它创作出各种风格的动态效果。

8INTERACTIVE DESIGN OF STYLIZED WALKING GAITS FOR ROBOTIC CHARACTERS机器人角色风格化行走步态的交互式设计,帮助设计者轻松为机器人创造独特、富有表现力的行走方式。

尽管程序化动画,在设计虚拟角色行走步态方面已经得到广泛应用,但现有的技术大多未考虑到实体机器人所面临的运动学和动力学限制。所以这里研究团队开发了一种新工具,可以根据不同的行走速度自动调整步态,帮助艺术家们为机器人设计独特的行走方式,让动作更自然流畅。新工具不止针对虚拟角色,还考虑了现实世界中机器人的物理限制,将艺术家设计的走路样式转换为机器人可以执行的具体动作指令。无论是在实体机器人还是电脑模拟中,艺术家都可以实时看到效果,且这种技术可以适用于不同类型和大小的双足机器人。

上图中是团队在一个定制机器人上进行的测试。通过模拟,展示了团队的程序化动画技术如何推广到具有不同自由度、比例和质量分布的双足机器人。
9SOFT PNEUMATIC ACTUATOR DESIGN USING DIFFERENTIABLE SIMULATION一种新的方法,用于设计软体机器人的气动驱动部件

研究团队提出了一种计算机辅助设计流程,用于设计通过接触与环境互动的气动软体机器人。团队使用计算机模拟来预测机器人的行为,通过改变机器人内部空腔的形状来控制其动作和力量,设计者可以精确控制机器人的动作和它能施加的力。这种技术能够用来设计可以做特定动作或施加特定力的机器人,优势在于可以精确控制机器人行为,使其能够完成特定的人物或动作。

10DIFFUSION TEXTURE PAINTING提供了一种新的、基于AI的方法来创建和编辑3D模型的纹理,为数字艺术家和设计师提供更强大、更直观的工具。

研究团队提出了一种利用2D生成扩散模型(DMs),在3D网格表面进行交互式纹理绘画的技术。与现有的纹理绘画系统不同,这一方法可使用任何复杂的图像纹理进行绘制,并且相比传统的纹理合成,笔刷不仅能够实时生成无缝的笔触,还能在不同纹理之间进行逼真的过渡填充。为实现这一应用,团队提出了一种基于图章的方法:将经过调整的预训练扩散模型,应用于局部渲染空间中的修补,然后将其投射到纹理图像上,从而控制笔触的形状和纹理的方向。另外,团队还提出了一种适应预训练扩散模型推理的方法,以确保纹理笔刷的稳定性,同时允许扩散模型生成源纹理的无限变体。这也是首次将扩散模型用于交互式纹理绘制。

11MOTION-12V: MOOELNGHOTICN TY CONSISTENT AND CONTROLLABLE IMAGE TO YIDEO GENERATION WITH EXPLICIT
一种名为Motion-I2V的新框架,用于生成一致且可控的图像到视频(I2V)转换。

Motion-I2V通过明确的运动建模,将I2V分为两个阶段:第一阶段,研究团队提出了一种基于扩散的运动场预测器,专注于推测参考图像像素的运动轨迹;第二阶段,团队提出了运动增强的时间注意机制,以增强视频潜在扩散模型中有限的一维时间注意力机制。可以在预测轨迹的指导下,有效地将参考图像的特征传播到生成的视频帧中。与现有方法相比,Motion-I2V在存在大范围运动和视角变化的情况下,也能生成更一致的视频。通过在第一阶段训练一个稀疏轨迹控制网络(ControlNet),Motion-I2V可以支持用户通过稀疏的轨迹和区域标注来精确控制运动轨迹和运动区域。无论是从定性还是定量的角度来看,在一致且可控的图像到视频生成方面都优于以往的方法。

12SURFACE-FILLING CURVE FLOWS VIA IMPLICIT MEDIAL AXES一种可以用来生成填充表面的曲线的,快速、稳健且用户可控的算法。


研究团队通过一种简单的稀疏能量梯度流来计算这些曲线,这种方法比之前的方法快了好几个数量级。且新算法对输入表面的拓扑结构和分辨率等细节要求很低,因此更加稳定。而且这里还增加了可调参数,用户可以通过这些参数控制生成曲线的形状,非常适合应用在交互设计中。

13ANINDUCE-ON-BOUNDARY MAGNETOSTATIC SOLVER FOR GRID-BASED FERROFLUIDS一种新的"边界诱导"(IoB)求解器,专门用于解决铁磁流体的磁静力学方程。

为了更好地模拟铁磁流体(一种受磁场影响的特殊液体)行为,研究团队发明了"边界诱导"(IoB)求解器。与原来的方法相比,新方法计算磁场更加简单高效,只需要物体表面的点云数据,计算复杂度低、速度快且精度高。并且容易与其他模拟程序配合使用,可以轻松融入常规的流体模拟器,不影响边界条件。为了证实IoB求解器的收敛性和可扩展性,研究团队做了大量实验并进行了深入的理论分析。并将新方法用在了计算机模拟中:提出了一种简单的耦合方法,将IoB求解器整合到基于网格的流体模拟流程中,成功模拟出了具有代表性的铁磁流体不稳定性现象,且效果逼真。

14NEURAL GEOMETRY FIELDS FOR MESHES一种名为“3D几何场”的,新的3D模型表示方法。

最近,科学家们开始用“神经网络”来表示3D物体的表面,虽然在表现能力和计算效率上都有很大进步,但大多数研究都集中在了“隐式表示”上,很少有人研究如何用于实际的3D网格模型。研究团队推出的这一新方法,可以利用人工智能技术更有效地表示和压缩3D模型。核心思想是:首先用一些粗糙的四边形面片来大致表示目标表面;然后用神经网络来添加表面细节(具体做法是移动这些面片的位置); 最后,通过采样这些位移来生成传统的三角形网格。


与之前的研究不同,这种方法针对离散的表面几何(即3D网格),在节省存储空间的同时,还能保留模型细节。在3D图形、游戏、虚拟现实等领域,都有潜在的应用价值。15X-PORTRAIT EXPRESSIVE PORTRAIT ANIMATION WITH HIERARCHICAL MOTION ATTENTION一种名为"X-Portrait"的创新条件扩散模型,用于生成富有表现力和时间连贯性的人像动画。

利用“扩散模型”的人工智能技术作为基础,通过"ControlNet"框架,实现对头部姿势和表情的精细控制。可以直接从驱动视频中学习动作(而不是使用传统的面部标记点);引入的局部控制模块,能够捕捉到眼球位置等微小细节;同时使用特殊的训练方法,以确保生成的动画保持原始人像的身份特征,不会受到驱动视频中人物的影响。"X-Portrait"只需要一张静态人像照片,就能创造出可以表现出丰富的面部表情和广范围头部运动的生动动画。适用于各种类型的人像照片和表情丰富的驱动视频,生成的动画看起来自然流畅,不会有跳跃感。

16COMPUTATIONAL HOMDGENIZATION FOR INVERSE DESIGN OF SURFACE-BASED INLATABLES一个计算框架,可以更好地设计充气结构,让它们在充气后形成预期的3D形状。

这种新的计算方法,可以分析和设计任意连接曲线的充气结构。研究团队使用"数值均质化"方法来研究不同连接图案的行为,提出了一种新的方法来描述充气结构变形,并创建了一个包含各种连接图案的数据库团队开发了一种反向设计算法,可以自动找出合适的连接曲线,让充气后的形状接近目标形状。使用几何展平算法来设计全局连接曲线网络,进一步优化这些曲线,使充气后的形状更接近目标。大大提高了结构性能,也比之前的方法更灵活,可以帮助用户制作出更多种类的充气结构。

17DEEP FOURIER-BASED ARBITRARY-SCALE SUPER-RESOLUTION FOR REAL-TIME RENDERING一种新的图像超分辨率方法,可以更灵活、更自然地将图像放大到任意尺寸,特别适用于3D渲染场景。

通过观察到高分辨率G-buffers(几何缓冲区),具有与高分辨率渲染帧相似的频谱特性,研究团队提出了一种方法,可支持已训练的神经网络模型进行任意尺度的超分辨率处理。团队开发了一种基于傅里叶变换的神经网络模型,可以接受任意坐标作为输入,并输出对应的像素值。可以更加灵活的将图像放大到任意尺寸,而非仅限于固定的倍数;且生成的图像在视觉上更加自然,尤其适用于3D渲染场景。

18TAMING DIFFUSION PROBABILISTIC MODELS FOR CHARACTER CONTROL一种新的AI系统,可以让游戏或动画中的角色更自然、更多样化地动起来。

开发团队使用了一种叫做CAMDM的人工智能模型,可以用角色之前的历史运动作为输入,根据玩家的简单指令,生成各种可能的后续动作。为了解决驯服运动扩散概率模型用于角色控制时面临的问题,团队融合了几个关键的算法设计(包括分离的条件标记化、无分类器的过去运动指导以及启发式的未来轨迹延伸)。这也是首个能做到实时生成高质量、多样化角色动画的模型,且一个模型就能生成多种风格的动画。


可以让游戏或动画中的角色动作更自然、更丰富;玩家可以更直观地控制角色,提高游戏的互动性和真实感。19BLOCKFUSION:EXPANDABLE 3D SCENE GENERATION USING LATENT TRI-PLANE EXTRAPOLATIONBlockFusion,一种基于扩散的模型,用于生成由单位方块组成的3D场景,并能无缝地添加新方块来扩展场景。

BlockFusion使用从完整3D场景网格中,随机裁剪的3D方块数据集进行训练。包含几何特征的三平面(tri-plane);用于解码有符号距离值的多层感知器(MLP)和通过逐块拟合,将所有训练用的方块转换成混合神经场。使用一种叫"变分自编码器"的AI技术来压缩数据,在压缩后的数据上应用"扩散"过程。当需要扩大场景时,在现有场景边缘添加空白块,之后利用已有的场景信息来填充这些新块,同时在生成新块时,还能考虑与已有场景的重叠部分,以确保新旧部分能够自然衔接。

特别之处在于可以自然地扩展已有的场景,且新生成的部分能够很好地与原有部分融合,可以通过2D布局来控制场景中物体的位置和排列。无论是在室内还是室外场景中,都能生成高质量、多样化的形状。20KINETIC SIMULATION OF TURBULENT MULTIFLUID FLOWS一种可以更好地模拟多种液体混合的情况,特别是在复杂的流体流动情况下的新方法。

模拟多种液体混合在一起的情况(如水和油)非常困难,特别是当液体流动快或者不同液体密度差异大时,就更加难以模拟。这也可能是为什么在计算机图形学中,这类模拟比单一液体或两种液体的模拟少见的原因。研究团队开发了一种用于多流体模拟的完整LBM求解器,可以模拟可混合/不可混合,甚至部分可混合的液体。团队用"相场模型"来表示每种液体在空间中的分布,采用D3Q7格子玻尔兹曼方法来模拟液体随时间的变化。使用高阶矩编码LBM(HOME-LBM)来模拟速度场,以减少内存占用;通过D3Q27或D3Q19离散化来存储速度分布,提高精度和稳定性,再利用界面的扩散编码来处理压力、粘度和界面力的耦合。

为了验证这一求解器的视觉复杂性、准确性和真实感,研究团队进行了多项数值基准测试,同时展示了多个多相流动的对比示例。证实所得求解器不仅解决了动力学方法在计算流体力学和计算机图形学中的一些限制;还能够高效地进行湍流多相模拟,避免在边界附近的压力振荡行为。21REAL-TIME PHYSICALLY GUIDED HAIR INTERPOLATION一种更好在电脑中模拟头发的方法,快速运行的同时,还能让虚拟角色的头发看起来更自然。

近年来头发模拟技术在实时应用中越来越流行,不过准确、逼真模拟全部头发丝仍然很困难。现在常用的技术,是模拟一部分引导线来捕捉整体发型的行为,然后通过线性蒙皮插值来丰富细节,但常常存在瑕疵。研究团队提出了一种新颖的物理驱动头发插值方案,利用现有的模拟引导线数据。不直接操作位置,而是先插值引导发丝的内部力,然后根据发丝的材质模型高效地重建渲染发丝。这种方法不仅让头发看起来更自然;且速度很快,适合用在实时反应的游戏或应用中;比起旧方法,只需要额外20%左右的计算量就能得到更好的效果。

22SKETCHDREAM:SKETCH-BASED TEXT-TO-3D GENERATION AND EDITING一种让创建和编辑3D模型变得更加简单和精确,且效果更好的新方法,。

现有用文字来生成3D模型的方法虽然能产生不错的效果,但很难精确控制模型的形状;用草图来创建3D模型更直观,但只能做出简单的无纹理网格模型。研究团队提出了一种基于文字的3D内容生成和编辑方法,名为SketchDream。支持从给定的手绘草图生成NeRF(神经辐射场),并实现自由视角的基于草图的局部编辑。可以从手绘草图生成3D模型,允许用户在任何角度编辑3D模型;同时入了一个基于草图的多视图图像生成扩散模型,利用深度引导来建立空间对应关系,来提高生成质量。为了支持局部编辑,团队还采用了一种从粗到细的编辑方法,既能修改细节,又能保持整体一致性。

23DRESSCODE: AUTOREGRESSIVELY SEWING AND GENERATING GARMENTS FROM TEXT GUIDANCE一种可以通过简单的文字描述来生成高质量的3D服装模型的新方法。

服装模拟一直是CG技术中最为重要的环节,尽管近年来在布料模拟上有了很大进步,但是用文字来生成服装还是个新领域。研发团队开发了一种名为"DressCode"的文本驱动3D服装生成框架,可以用文字来生成3D服装。这样的话普通人也能设计服装,为时装设计、虚拟试衣和数字人物创作提供助力。团队使用了一个叫"SewingGPT"的架构,可以根据文字描述生成服装裁剪图案;同时改进了"Stable Diffusion"技术来为服装生成逼真的纹理;利用大型语言模型,通过自然语言对话来生成适合电脑图形的服装;可以完善服装图案和编辑纹理,让设计过程更简单友好。

24VERTEX BLOCK DESCENT一种新的计算方法,可以更快、更稳定地进行各种物理模拟,特别是在模拟弹性物体的动态变形时表现出色。

研究团队一种名为"顶点块下降法"的,用于解决物理模拟中常见的一类数学问题的方案。通过局部定点位置更新来降低整个系统的能量。可以高度并行化,这也意味着可以同时处理多个计算,提高效率。这一方案能够在保证稳定性的同时达到数值收敛(即得到准确结果),且计算性能非常出色,可以通过简单地限制迭代次数来适应不同的计算能力,同时保持稳定性和较快的收敛速度。团队在论文中详细介绍了这种方法的所有重要组成部分,并展示了它如何应用于不同类型的模拟系统。

主要用于弹性体动力学的模拟(比如模拟软体物体的变形),也可以用于其他类型的模拟,如粒子的模拟和刚体模拟。

好啦,今天的分享就到这里。扒完今年会上的这些亮点技术,感觉整个人都升华了有木有

。话说,这么干的干货,你们确定不点个赞再走么

~

end



收费的Blender,我忍你很久了!!


完美世界裁员裁空两栋楼!?


这作品里的姐姐好仙!
内容主要涵盖影视特效,CG动国,前沿CG技术,作品欣賞
使用道具 <
元素界王神  发表于 2024-7-6 13:54:34  
2#
都是很高科技的东西.
回复 收起回复
使用道具
425587160  发表于 2024-7-10 20:04:01  
3#
牛壁
回复 收起回复
使用道具
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部 返回列表