Update 26y.07m.04d← 返回列表
dev
Modal指南与方案
核心定位概述
Modal 是一个高性能的 AI 基础设施平台，为 Python 和 AI 工作负载提供无服务器云计算。它使开发人员能够以亚秒级的冷启动、即时自动扩展以及感觉本地的开发体验，运行推理、训练、批处理和沙箱。
🎁 免费版详细规格
无服务器计算访问权限
提供用于 AI 工作负载的无服务器云计算访问权限。
官方订阅方案摘要
Modal 基础设施未指定
提供运行 AI 系统的基础设施解决方案，包括跨各种硬件配置的推理、训练和批处理。
开发者 API 价格表
Modal 提供一个 SDK 和云环境，让开发人员可以运行代码，重点是指定逻辑和硬件的可组合原语。
| AI Model | Input (1M) | Output (1M) | Description |
|---|---|---|---|
| LLM 推理 | 每百万输入 token 3 美元 | 未指定 | 在 H100、A100 和 A10G 等硬件上运行任何模型或推理引擎，并可以选择在请求之间将资源缩放到零。 |
| 多模态推理 | 未指定 | 未指定 | 使用任何框架和硬件配置，从头开始处理图像生成、视频、音频、嵌入或自定义模型。 |
推荐适用对象
- ✔AI/ML 开发人员: 需要部署、扩展和管理大量 AI 工作负载（包括 LLM 推理、微调和多节点训练）的开发人员。
- ✔ML 工程师: 专注于构建稳健、可投入生产的 AI 应用程序的工程师，这些应用需要可扩展、可观察和安全的执行环境（沙箱）。
常见问题 (FAQ)
Q. Modal 可以处理哪些类型的负载？
Modal 专为重负载的 AI 工作负载而构建，包括 LLM 推理、微调（SFT、LoRA）、批处理和异步推理、强化学习滚动以及运行不受信任代码的安全沙箱。
Q. Modal 如何处理扩展性？
它具有从 0 到 1000 多块 GPU 的即时自动扩展功能，并实时在云和区域之间路由工作负载，确保高性能和低延迟。