跳到主要内容Skip to main content

Compute · Cloud · 指南

云 GPU 怎么比价:先统一口径

不要拿“每卡每小时”直接横比。整机起租、存储、出网、冷启动、可用性和合同期,都会把真实单价抬高或压低。

先分清四种报价口径

按卡小时:常见于 GPU 专营云,适合估算训练。按整机小时:通用云常按 8 卡整机起租,单卡价要除以卡数再算。按 token:托管推理按输入/输出 token 计费,适合 API 调用。按月/合同:预留容量,单价低但有承诺期。

四种口径不能直接比。先把你的任务换算成同一口径:训练看 GPU 小时,推理看每百万 token 或每千次请求,实验看按秒。

把隐藏成本加进去

存储:模型权重、数据集、容器镜像要占空间;有些平台按容量月费,有些按读写。出网:把结果拉回本地或传给用户,可能按 GB 计费。冷启动:Serverless 的冷启动会拖长尾延迟,也会增加计费秒数。

可用性:便宜的主机可能排队或中断;训练中断一次,重跑成本可能超过省下的租金。合规:敏感数据要选有 SOC 2 / 等保的区域,不能只看价格。

用一张表做同口径对比

列:服务商、卡型、单卡显存、报价口径、单卡小时价、整机起租、存储/月、出网/GB、冷启动、最低消费、合同期、可用区、合规、核验日。

先按“任务总成本”算,不要按标价算。训练任务:卡时 × 数量 × 预计时长 + 存储 + 重跑余量;推理任务:每千次请求的 GPU 秒 + 冷启动 + 出网。

先小规模实测,再签长期

用 1 台目标卡型跑一轮真实负载:启动时间、吞吐、显存占用、网络、存储读写、故障恢复。把实测数据回填到对比表,再决定按需还是预留。

合同前确认:卡型是否锁量、价格是否随市场调、超额怎么计、退订规则、数据迁出费用。