您需要 登录 才可以下载或查看，没有账号？注册
x
MosaicML 是一个由科学家、工程师、创造者和建筑师组成的团队，致力于发现新方法，使机器学习训练更好、更快、更高效，以加速突破。 随着 ChatGPT 和 Stable Diffusion 等大型模型越来越受欢迎，越来越多的组织希望获得它们的能力。当成本不是问题且将数据发送给第三方可接受时，像 OpenAI 的 GPT 系列这样的公共 API 提供了一个很好的解决方案。 但许多组织有严格的数据隐私要求，并希望最小化成本。在这种情况下，构建和托管自己的模型可以提供一种安全、经济实惠的替代方案。问题在于训练和部署一个大型、高质量模型是困难的。
MosaicML Inference是一个完全托管的推理服务，可以轻松安全地部署机器学习模型。目前有两个版本：入门版和企业版，后者提供更多的安全性、灵活性和控制权。该服务可以处理大型模型，并保护数据隐私。MosaicML Inference提供了集群和模型指标的详细报告，支持企业级DevOps。使用企业版，可以在自己的虚拟专用云（VPC）中部署任何想要的模型。可以轻松将数据转换为生产级AI服务 - 通常以较低成本提供替代方案 - 而不会影响数据隐私。
—1—价格便宜
ML Inference使用MosaicML Inference托管模型比使用类似规模的OpenAI API便宜得多，适用于文本和代码生成模型、文本嵌入模型以及图像生成模型。在我们的Starter层中使用API也比类似的OpenAI API更便宜。所有MosaicML测量都是基于40GB NVIDIA A100s进行的，输入序列为标准512个令牌或512x512图像。
—2—可以在多个云上部署
—3—支持个人构建自己的服务
这个的前提是有足够的金钱，可以部署一个小模型，但安全、身份验证、可用性、监控和容错要求比较低。如果要达到企业 SLA 的可靠性就比较有挑战性，而且达模型会增加额外障碍。该运行时不仅涉及模型分片和内部优化，还包括异步输出流和智能请求批处理等功能。总之，个人部署是属于玩票性质。
—4—账号 申请
需要申请账号，申请地址：https://forms.mosaicml.com/demo
https://www.mosaicml.com/blog/inference-launch
MosaicML BLOG
感谢你的阅读，分享即学习，跟黎叔一起玩转AI
| 
评分
