AI:我能做的都帮你们做了!给一段音乐AI就能出舞蹈动作;Stable Diffusion发布2.0...
14175 0
实名

通过了实名认证的内容创造者

发布于 2023-4-27 16:43:49

您需要 登录 才可以下载或查看,没有账号?注册

x

01
斯坦福大学的几位大神Jonathan Tseng、Rodrigo Castellon和C.Karen Liu最近展示新AI系统名为EDGE,它能够把输入的音乐,根据音乐韵律生成流畅的舞蹈动作。
783f728a9c3e6d50772c523f7c3b7ee9.gif
EDGE在接受物理训练的同时,还采用基于变压的扩散模型,再加上一个强大的音乐特征提取器Jukebox,就可以让AI理解音乐了。EDGE可以制作带有一组舞蹈动作的短视频,AI认为这是最符合输入的。除此之外,EDGE还提供了非常适合舞蹈的强大编辑功能,包括联合调节、中间动作和舞蹈延续。
[micxp_wxonkey]wxv_2682136867311681539[/micxp_wxonkey]EDGE使用Jukebox模型将输入音乐编码为嵌入内容。“条件扩散模型学习将音乐嵌入映射到一系列5秒的舞蹈片段中。在推断时,时间约束被应用于多个片段的批次,以在将它们拼接成任意长度的完整视频之前加强时间一致性。”不过从给出的几段视频中我怎么感觉是“瞎跳”呢,动作都不在音乐的点儿上。
962ba9377b9303b941b9f166afc430a7.png

[micxp_wxonkey]wxv_2682159111198965762[/micxp_wxonkey][micxp_wxonkey]wxv_2682157919899189248[/micxp_wxonkey][micxp_wxonkey]wxv_2682136867311681539[/micxp_wxonkey]https://edge-dance.github.io/
02
Stability AI宣布发布Stable Diffusion 2.0,新版为SD提供了大量有用的增强功能,改进了其文本到图像的扩散模型,带来了强大的新图像缩放器,更新了其Inpainting模型等。据开发商介绍说,升级版目的是“作为无数应用程序的基础,激发新的创造潜力”。

以下是 Stable Diffusion 2.0 带来的改进和新功能列表:■新的文本到图像扩散模型:Stable Diffusion 2.0 包括使用全新文本编码器训练的强大的文本到图像模型,与早期的V1版本相比,它大大提高了生成图像的质量,使人们能够在 512x512 和 768x768 分辨率。■超分辨率Upscaler Diffusion模型:新版本带来了Upscaler Diffusion模型,可将图像分辨率提高4倍。

■Depth-to-Image Diffusion Model:一种新的扩散模型,能够推断输入图像的深度,然后使用文本和深度信息生成新图像。■更新Inpainting Diffusion Model:一个新的文本引导图像修复模型,在新Stable Diffusion2.0基础文本到图像上进行了微调,可让切换图像的部分变得更容易。

https://github.com/Stability-AI/stablediffusion

全文完
内容主要涵盖影视特效,CG动国,前沿CG技术,作品欣賞
使用道具 <
您需要登录后才可以回帖 登录 | 注册

本版积分规则

快速回复 返回顶部 返回列表