盘点下ComputeX 2024英伟达发布的与CG相关的前沿技术
点击上方蓝字CG世界关注我们“ 感知技术 · 感触CG · 感受艺术 · 感悟心灵 ”中国很有影响力影视特效CG动画领域自媒体要说最近业界有什么大事发生，那本月2号，AI教父、NVIDIA创始人兼CEO黄仁勋，在台北贸易中心举行的ComputeX 2024大会上，发布主题演讲，肯定可以算一件！
NVIDIA公司在这次的演讲中，展示了一系列AI技术的最新进展,涉及多个领域，包括消费级计算、加速计算、网络、企业计算以及工业数字化等。为我们全面展示了人工智能和计算技术的未来发展方向。
至于演讲内容的精彩程度么，从当晚NVIDIA暴涨的1320亿美元市值，就可以窥见一二。想必这两天小伙伴们都已经看完了演讲视频，各大公众号也基本把内容都扒完了。而作为你们最最贴心的CG世界，咱今天就从干货里面再捞点更干的
。给大家盘一盘演讲中涉及到的，行业内小可爱们比较关注的几点内容~
↓广告推广↓
GeForce RTX AI PC为用户带来全新的智能助手体验PART 01凭借RTX技术驱动, RTX AI PC将通过200多款RTX AI笔记本电脑和500多款AI应用/游戏,彻底改变消费者的体验，为游戏、内容创作等领域带来重大创新。
Project G-Assist G-Assist项目是一款可以为PC游戏和应用，提供感知上下文帮助的，由RTX驱动的AI助手技术演示。PC游戏有着庞大的游戏世界和复杂的机制，哪怕是资深玩家，想要做到游刃有余也不是容易的事。而G-Assist的目的，就是利用生成式AI，让游戏和系统知识变得触手可及。wxv_3489280796802580485
G-Assist项目接收来自玩家的语音或文本输入,以及游戏窗口中的内容截图。截图会被输入到AI视觉模型中,为连接到游戏知识库(如Wiki)的大型语言模型(LLM)提供上下文感知和对特定应用的理解（LLM的输出是作为富有洞察力的个性化响应，基于游戏中发生的情况,可以是文本或AI语音）。NVIDIA与Studio Wildcard合作,在《方舟：生存飞升》中演示了该技术。G-Assist项目可以帮助回答有关生物、任务、物品、背景知识、关卡boss等问题。且因为 G-Assist项目具备游戏环境感知和上下文理解能力,还能根据玩家的游戏集成提供个性化响应。
此外, G-Assist项目还可以评估玩家的系统配置和性能,并即时进行优化以获得最佳体验。能根据玩家的硬件优化图形设置，启用性能调优以应用安全的GPU超频;甚至可以打开NVIDIA Reflex以减少系统延迟,获得更加响应灵敏的游戏体验。
未来AI助手将彻底改变玩家与最喜爱的游戏和应用互动的方式：在图片/视频应用程序中的复杂创作工作流程中，获得即时的上下文感知辅助；或者让AI助手分析多人游戏重播,提供升级策略指导。G-Assist项目虽然不会代替玩家玩游戏,但可以在遇到棘手Boss时提供实时帮助，让玩家从喜欢的游戏中获得更多乐趣。
NVIDIA ACE数字人技术NVIDIA宣布全面推出NVIDIA ACE生成式AI微服务，以加速新一代数字人浪潮。客户服务、游戏和医疗保健等领域的开发者将率先采用ACE技术，以简化创建、动画化以及操作逼真数字人的过程。此外,NVIDIA ACE技术也将登录RTX AI PC和使用了ACE PC NIM微服的工作站。ACE NIM将在RTX GPU上本地运行高质量推理,用于自然语言理解、语音和面部动画。
现已全面推出的，NVIDIA ACE数字人生成式AI技术套件包括:
NVIDIA Riva ASR，TTS 和 NMT ： 用于自动语音识别、文本到语音转换和翻译。NVIDIA Nemotron LLM ：用于语言理解，以及根据上下文生成回复。NVIDIA Audio2Face ： 可根据音轨生成栩栩如生的面部动画。NVIDIA Omniverse RTX ： 用于实时路径追踪，以制作逼真的皮肤和毛发。
全新推出的技术包括：
NVIDIA Audio2Gesture ：用于根据音轨生成肢体手势（即将推出）。NVIDIA Nemotron-3 4.5B ：一款专为低延迟、本地端RTX AI PC推理而设计的全新小语言模型 (SLM)。
数字人进驻一亿台RTX AI PCNVIDIA一直将ACE作为NIM微服务，提供给开发者在数据中心运行。现在,NVIDIA正在构建ACE PC NIM微服务,可以部署在装机量达1亿台的RTX AI PC和笔记本电脑上。其中包括NVIDIA首个专用于在终端设备上运行的小型语言模型→Nemotron-3 4.5B,其精度和准确性与在云端运行的大型语言模型(LLM)相似(现已进入抢先体验阶段）。新的NVIDIA AI Inference Manager (AIM) 应用开发工具包，简化了将ACE部署到PC的过程。能够预先在PC上配置所需的AI模型、引擎和依赖包,同时协调PC与云端之间，完美调度AI推理操作。在Computex展会上展示了与Inworld AI合作开发的"秘密行动"技术演示的更新版本。利用在GeForce RTX PC上本地运行的Audio2Face和Riva ASR,该演示允许玩家使用对话语言与数字人非玩家角色(NPC)互动并影响他们,以完成任务。
最新ACE技术扩展数字人生态规模NVIDIA ACE是一套，能够利用生成式AI，将数字人类、AI NPC和交互式化身变为现实的技术。
主要的优势总结下一共有三点：最前沿模型和微服务：NVIDIA将ACE技术打包为NVIDIA推理微服务 (NIM)，这是一种方便于部署且性能出众的微服务。安全一致的结果：AI模型是在经过商业安全许可的数据上训练，通过精细调优和防护措施,无论用户的输入什么,都能获得准确、适当和主题相关的结果。灵活的部署选项：ACE NIM具有灵活的部署选项，开发人员可以根据自己需求，将它们部署到云端环境中运行；或者在装有NVIDIA RTX AI的个人电脑上，本地部署和运行。
NVIDIA与Aww Inc.、戴尔科技、Gumption、Hippocratic AI等多家公司合作，利用ACE开发各种应用。其中，日本虚拟人先驱公司Aww Inc.在2018年，就推出了首个虚拟明星Imma。截至目前,Imma已成为50多个国家主要全球品牌的代言人。Aww Inc.还计划利用ACE Audio2Face微服务，进行实时动画制作,为用户带来高度交互式沟通体验。
游戏开发商和发行商完美世界游戏公司，在新的神话荒野风格的演示中采用ACE。玩家可以使用英语和普通话与栩栩如生的AI NPC 互动。利用NVIDIA Audio2Face NIM,实时生成与角色声音相符合的逼真面部动画。
AI 游戏创作平台Code Z，由掌趣科技和悠米互娱联合推出。目的是利用 AI 技术减少创作开放世界游戏所需的资源，让个人和小型团队也能制作大型游戏。基于“Faith Framework”AI 机器学习训练系统，创作者无需编写代码，就可以快速生成 3D 游戏场景和数字素材。除此之外，创作者还能创建和训练高度个性化的AI数字人，实现动态互动。得益于Audio2Face和DLSS，使AI数字人在与玩家实时对话时，能够生成丰富表情，并且达到实时口型同步。这才是传说中的沉浸式玩游戏吧
~
看看人工智慧模型再现的逼真外观，能够实时进行路径追踪的次表面散射，以模拟光线穿透皮肤、散射并在不同点退散，让皮肤呈现出柔和的半透明外观。
虽然镜头拉远时，还是无法和大神们“手工”打造的超写实媲美。但特写镜头里皮肤的纹理细节，光泽度，也是非常可圈可点的。
与此同时， NVIDIA Audio2Face NIM还被英业达用于增强其VRSTATE平台中的，医疗保健AI客户端。集成了NVIDIA Audio2Face NIM，方便提供更有吸引力和安抚性的虚拟医疗咨询体验。ServiceNow和戴尔科技也都推出了利用Generative AI技术的新产品/解决方案,目的是让企业能够利用AI驱动的虚拟助理,依靠更自然、智能的方式与客户、员工交流互动,以此来提升用户体验,推动企业数字化转型。
AI助力内容创作NVIDIA还将RTX AI加速集成到了内容创作者、模组制作者和视频爱好者的应用程序中。去年，NVIDIA为流行的Stable Diffusion界面Automatic1111，增加了RTX加速支持（这一加速利用TensorRT技术实现）。这周开始，NVIDIA还将对ComfyUI提供RTX加速，将其性能提升60%（比苹果M3 Max芯片快7倍）。NVIDIA还推出了一个开发者SDK(软件开发工具包),其中包含了NVIDIA的一项广受欢迎的基于AI的超分辨率功能RTX Video。使用这个SDK,开发者可以将RTX Video的AI功能原生集成到主流的网络浏览器中（包括Google Chrome、Microsoft Edge和Mozilla Firefox），使浏览网页网页时，视频质量得到显著提升。NVIDIA的RTX Video技术即将与一些主流的视频编辑软件（如Blackmagic Design的DaVinci Resolve和Wondershare Filmora等）进行集成。通过这种集成,视频编辑者将能够利用RTX Video提供的AI增强功能,将低质量的标清视频(如1080p或更低分辨率)升级到4K级别的高清质量。同时,RTX Video还能将SDR(标准动态范围)视频转换为HDR(高动态范围)视频，以呈现更广的色彩范围和对比度,使画面更加细腻逼真，不仅提高了视频质量，也为后期制作提供了更多可能性。
机器人时代已经到来备受行业领导者青睐的NVIDIA机器人技术PART 02机器人时代已到来，世界各地的研究人员/公司，都在开发由物理AI智慧驱动的机器人，物理AI不仅能够理解指令，还能自主执行复杂任务。
NVIDIA正在引领价值高达50万亿美元的工业数字化转型浪潮。各行业都在采用自主运营和数字孪生技术,通过虚拟模型提高效率、降低成本。NVIDIA为了促进AI创新,计划通过开发者，提供对NIM的访问权限。未来机械化将成为常态、工厂全面实现自动化，机器人将协同工作，制造出一系列机械化产品，共同创造出一个高度自动化的生产环境。为了将这一目标逐步转变为现实，NVIDIA将为不同类型的机器人系统打造平台。
作为全球最大的电子产品制造商，富士康已经在墨西哥电子工业中瓜达哈拉设建立了新虚拟工厂。工程师在这个虚拟环境中定义流程和训练机器人，以方便实体工厂能够高效地生产。其他领先的制造商们，也正在纷纷利用NVIDIA的技术改造他们的工厂。演讲视频中，也展示了如何利用NVIDIA Omniverse、Isaac和Metropolis创建数字孪生，通过将视觉AI与机器人开发工具相结合，来实现增强机器人设施。
NVIDIA Omniverse小伙伴们都太熟悉了，小编这里就不多做赘述了。
NVIDIA Metropolis可简化支持AI的视频分析应用从边缘到云端的开发、部署和扩展的应用框架。端到端应用框架，包含预训练模型、训练和优化工具、部署SDK、CUDA-X 库和NVIDIA EGX平台。优势·更快构建使用和调整高性能预训练模型,简化针对用户所在行业的AI训练流程。使用云原生模块化微服务和参考应用程序,加速开发进度。·强大的SDK(包括NVIDIA TensorRT™、DeepStream和TAO Toolkit)，通过最大化推理吞吐量和优化NVIDIA平台和基础设施上的硬件使用,降低了整体解决方案的成本。·使用云原生Metropolis微服务和容器化应用程序灵活部署,提供本地、云端或混合部署选择。利用生成式AI增强应用程序检索增强生成(RAG)工作流：可定制的云原生构建块，非常适合开发生成式AI应用程序。工作流程允许用户通过无缝集成大型语言模型(LLM)和企业数据,加速生成式AI应用程序的开发。NVIDIA视觉洞察代理(VIA)：NVIDIA VIA是一套工作流,用于构建能够使用视觉语言模型(VLM)处理大量实时或存档视频和图像的AI代理（无论部署在边缘还是云端）。
NVIDIA Metropolis为开发人员提供了一套强大的API和微服务,可轻松开发并将应用程序部署到任何云端的边缘设备上。
NVIDIA IsaacNVIDIA Isaac平台为开发AI机器人提供强大套件,包括AMR、工业机械臂和人形机器人等，正在利用最新的生成式AI和先进的模拟技术，来加速AI驱动的机器人技术。适用于机械臂的Isaac Manipulator
NVIDIA Isaac Manipulator提供了一系列用于机器人手臂的运动生成和模块化AI功能,包括强大的基础模型和GPU加速库。机器人开发人员可以使用定制的软件组件组合，来感知并和环境交互,从而加速AI模型训练和任务编程,构建可扩展且可重复的工作流程,以执行动态操作任务。
将新的基础模型生成工具纳入Isaac平台,可以加速开发更智能、更灵活的机器人，且这些机器人可以被用于执行多项任务。
NVIDIA推出了基础模型来增强现有的机器人操作系统,帮助开发机器人感知、适应和重新编程，以适应各种环境和应用场景,如智能制造、拆卸放置任务、机器加工和装配等,具体包括:FoundationPose：一种开创性的基础模型,用于估计和跟踪未见过物体的6D姿态。cuMotion：利用NVIDIA GPU的并行处理能力,通过同时运行多个轨迹优化来解决工业规模的机器人运动规划问题,从而提供最佳解决方案。FoundationGrasp：一种基于transformer的模型,可以对未知的3D物体进行密集抓取预测。SyntheticaDETR：一种室内环境的对象 检测模型,允许更快检测、渲染和训练新物体。
引入Isaac Perceptor用于自主移动机器人视觉AI制造业和物流部门，正在采用自主移动机器人(AMR),在降低错误率和成本的同时，提高效率并保护工人安全。Isaac Perceptor提供多摄像头、360度视觉功能,为NVIDIA的早期合作伙伴的AMR安装提供先进的视觉AI,以协助材料搬运操作。ArcBest正在与NVIDIA合作,将领先的机器视觉技术引入物流领域。在ArcBest的Vaux智能自动化AMR叉车和伸展式卡车中使用Isaac Perceptor平台,能够实现更好的感知、语义感知导航和3D映射,用于仓库、方便在配送中心和制造设施内搬运材料的过程中检测障碍物。
人形机器人开发项目GR00TGR00T驱动的人形机器人,可以接受多模态指令(包括文本、视频和演示)以及之前的交互,来生成所需的机器人动作。人形机器人是一套复杂的系统,需要异构计算来满足高频率低级控制、传感器融合和感知以及任务规划和人机交互的需求。NVIDIA为此推出了一款全新的，基于NVIDIA Thor SoC的新型Jetson Thor人形机器人电脑。
Jetson Thor包括，一款基于NVIDIA Blackwell架构的下一代GPU,带有transformer engine ,可提供每秒800万亿次8位浮点运算AI性能，用于运行GR00T等多模态生成式AI模型。借助集成的功能安全处理器、高性能CPU集群和100GB以太网带宽，大幅简化了设计和集成工作。GR00T项目，使用可供机器人开发人员构建和测试基础模型的Isaac工具,包括新的轻量级仿真应用Isaac Lab(基于Isaac Sim构建,用于大规模训练人形机器人模型)和用于管理训练、模拟工作负载的云工作流编排平台OSMO。
利用Isaac Lab加速机器人学习需要高级运动技能(如行走或抓取)的机器人，必须在模拟环境中使用深度强化学习,并在虚拟环境中反复训练以学习技能。当模型转移到实际的机器人部署中时,这种实用性就显得更加重要。作为Isaac Gym的后续产品,Isaac Lab得益于NVIDIA Omniverse技术,可进行基于物理信息、照片级真实感的感知强化学习任务。Isaac Lab是基于Isaac Sim平台构建的一款开源、性能优化的机器人学习应用程序,包含强化学习API和面向开发人员的任务框架。通过NVIDIA OSMO实现云原生机器人工作流程调度NVIDIA OSMO可以跨分布式环境扩展工作负载。对于具有复杂多阶段和多容器工作流的机器人工作负载,可提供与位置无关的部署选项,并为已部署模型提供数据集管理和可追踪性功能。
OSMO可以同时在NVIDIA DGX和NVIDIA OVX服务器上运行，进行模拟的实时强化学习,来支持GR00T。这个工作负载，包括在循环中迭代生成和训练模型。OSMO能够跨分布式环境管理和调度工作负载,从而实现DGX和OVX系统的无缝协调,支持高效迭代的模型开发。一旦模型准备好进行测试和验证,OSMO就可以独特地在OVX(x86-64)上编排软件在环工作流,在NVIDIA Jetson(aarch64)计算资源上编排硬件在环工作流。好了，篇幅有限，今日分享到此结束，再多写下去你们该锤我了
。整理不易，老规矩，点完赞再走啊~~~END
禁止AI作品发布的网站Cara火了
这绑定和动画绝了！
这个世界首部AI动画电影因太丑，竟然火出圈了！
页:
[1]