GPU 抢不到?SkyPilot 一条命令跨云找卡

知识点总结

A100 缺货,它自动换一家云。

摘要

SkyPilot 是一个开源的 AI 算力调度系统:用一份 YAML 描述任务,sky launch 就能在你的 Kubernetes、Slurm 或 20 多家云里找到最便宜、有货的 GPU,缺货自动换地方,闲置还能自动回收。

它解决什么问题

训练和推理最常见的两个烦恼:卡不好抢,抢到了又忘记关。

  • 某家云的 A100 容量不足,你得手动换区域、换厂商,重新配环境。
  • 每家云的控制台、CLI、镜像都不一样,脚本很难迁移。
  • 集群闲着也在计费,没人记得去关。

SkyPilot 的思路是:把“我要什么”和“在哪跑”拆开。你只写资源需求,剩下的找卡、开机、传代码、装依赖、跑任务,都由它完成。

核心优势

  • 一份任务,到处能跑:任务用 YAML(或 Python API)描述,可以在 Kubernetes、Slurm、各家云之间切换,避免绑定单一厂商。
  • 自动找最便宜、有货的:它会在你已配置的基础设施里挑最便宜且可用的,遇到容量错误自动故障转移到下一个候选。
  • BYOC,数据不出你的账号:所有资源都在你自己的云账号、VPC 和集群里启动。
  • 省钱的细节很实在:空闲自动停机(autostop)、共享集群上的装箱调度(binpacking)、托管任务出错自动恢复。
  • 对 Kubernetes 友好:给 K8s 加上成组调度(gang scheduling)、多集群统一入口和扩缩容,并且可以 SSH 进 Pod、同步代码、连 IDE,开发体验接近 Slurm。
  • 不用改代码:已有的 GPU、TPU、CPU 工作负载直接跑。

截至目前,支持的基础设施包括 Kubernetes、Slurm、AWS、GCP、Azure、OCI、CoreWeave、Nebius、Lambda Cloud、RunPod、Vast.ai、Crusoe 等二十多家。

面向人群

  • 个人开发者、小团队:想用最便宜的卡做微调、跑实验,不想被某一家云绑死。
  • 已经有 Kubernetes 集群的 AI 团队:想让算法同学不用懂 K8s 也能提任务。
  • 平台团队:需要一个统一入口管理多云、多集群的 GPU。

快速上手

1. 安装,按需选择云:

uv pip install "skypilot[kubernetes,aws,gcp]"

2. 检查哪些云已经可用(会读取你本机已有的云凭证):

sky check

3. 写一个任务文件 my_task.yaml:

resources:
  accelerators: A100:8   # 8 张 A100

num_nodes: 1

workdir: ~/torch_examples   # 本地目录,会同步到集群的 ~/sky_workdir/

setup: |
  cd mnist
  pip install -r requirements.txt

run: |
  cd mnist
  python main.py --epochs 1

先把示例代码拉下来:

git clone https://github.com/pytorch/examples.git ~/torch_examples

4. 启动:

sky launch -c mycluster my_task.yaml

这一条命令背后,SkyPilot 会依次做五件事:

  1. 在你的集群或云里找最便宜、有货的基础设施
  2. 开出 GPU(Pod 或虚拟机),容量错误时自动故障转移
  3. 把本地 workdir 同步上去
  4. 运行 setup 安装依赖
  5. 运行 run 并实时输出日志

5. 用完就收:

sky status          # 查看集群
sky down mycluster  # 释放,停止计费

提前设置空闲自动停机,可以避免忘关:

sky launch -c mycluster my_task.yaml -i 30 --down

意思是空闲 30 分钟后自动释放集群。注意区别:只写 -i 30 是自动停机(autostop,保留磁盘),加上 --down 才是彻底删除(autodown)。“空闲”指集群上没有排队或运行中的任务、也没有活跃的 SSH 连接,计时在集群端进行,本机关机也不影响。

进阶用法

多个候选卡,谁有货用谁。 在 resources 里用 any_of 列出可接受的配置:

resources:
  any_of:
    - accelerators: H100:8
    - accelerators: A100-80GB:8

用竞价实例省钱,配合托管任务(sky jobs launch)可以在被回收后自动恢复:

resources:
  accelerators: A100:8
  use_spot: true
sky jobs launch my_task.yaml

推理服务同样可以用它部署,官方示例覆盖 vLLM、SGLang、Ollama,训练示例覆盖 verl、DeepSpeed、TorchTitan、Unsloth、Ray 等常用框架。

局限与提醒

  • 它是调度层,不是算力提供方:账号、配额和 GPU 额度仍然要自己申请,热门卡在所有云都缺货时它也变不出卡。
  • 在多家云之间迁移时,数据位置和出口流量费用要自己算账。
  • 项目迭代很快,命令和 YAML 字段以当前版本文档为准。

小抄:常用命令与选型

场景 命令 / 写法
安装 uv pip install "skypilot[kubernetes,aws,gcp]"
检查可用的云 sky check
启动任务 sky launch -c mycluster my_task.yaml
空闲 30 分钟自动删除 sky launch -c mycluster my_task.yaml -i 30 --down
查看集群 sky status
释放集群 sky down mycluster
竞价实例 + 自动恢复 use_spot: true 配合 sky jobs launch my_task.yaml
多候选卡 resources 下写 any_of

什么时候该用它:

  • 只在一家云、卡也够用 → 直接用那家的工具就行,不必引入。
  • 经常抢不到卡、或想比价 → 用 any_of 多候选加 sky launch。
  • 总忘记关机 → 一律带上 -i 30 --down。

项目地址:github.com/skypilot-org/skypilot