LiteLLM 免费开源自托管，多平台密钥统一为 OpenAI 兼容接口

服务跑起来后，任何兼容 OpenAI 的 SDK 只要把 base_url 指向本机代理即可。地址形如 http://localhost:4000，带版本号写 http://localhost:4000/v1；远程调用把 localhost 换成服务器 IP，并确认端口已放通。

模型名就是你写在 config.yaml 里 model_name 字段的别名；不确定有哪些可用模型时，先请求 http://localhost:4000/v1/models 列出全部。上游前缀写法（如 openai/、anthropic/）可在官方文档的供应商页面查到。

先看一条最小可用的 curl 调用，注意请求头里的 Bearer 值就是配置中的 master key：

curl http://localhost:4000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer sk-1234" \
  -d '{
    "model": "gpt-4o-mini",
    "messages": [
      {"role": "user", "content": "用一句话解释什么是统一代理"}
    ],
    "temperature": 0.7,
    "max_tokens": 256,
    "stream": false
  }'

关键参数说明：model 填配置里的模型别名；messages 是对话数组，role 取 user、assistant、system；temperature 控制随机程度；max_tokens 限制回答长度；stream 为 true 时按流式分块返回。

用 Python 官方 SDK 时，只需改两个参数，其余代码与直连官方接口完全一致：

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:4000/v1",
    api_key="sk-1234",
)

resp = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "你好"}],
    temperature=0.7,
    max_tokens=256,
)
print(resp.choices[0].message.content)

想不改代码就全局切换，也可以直接设环境变量，让已有的脚本自动走代理：

export OPENAI_BASE_URL="http://localhost:4000/v1"
export OPENAI_API_KEY="sk-1234"

额度耗尽与限流的排查顺序

1. 先看返回码。401 多为请求头里的 key 与 master key 不一致；404 多为 base_url 少了 /v1，或模型别名拼错；429 多为上游免费额度用尽、并发过高或触发速率限制。
2. 再看返回体与代理日志。错误通常会把上游原文透传出来，流式请求的典型表现是回答中途断开，此时切回非流式复现一次更容易看清报错。
3. 到对应上游控制台核对余额、速率上限和重置时间，具体数值以控制台实际显示为准。
4. 检查该模型对应的环境变量是否在启动进程之前导出，容器里尤其容易漏；改完配置需重启服务才生效。
5. 若仍无解，把请求临时切到另一家供应商的模型别名，能通说明代理正常、问题在上游账号。