Провайдеры

vLLM

vLLM может обслуживать модели с открытым исходным кодом (и некоторые пользовательские) через OpenAI-совместимый HTTP API. OpenClaw может подключиться к vLLM, используя API openai-completions. OpenClaw также может автоматически обнаруживать доступные модели из vLLM, когда вы соглашаетесь, установив VLLM_API_KEY (подходит любое значение, если ваш сервер не требует аутентификации) и не определяете явную запись models.providers.vllm.

Быстрый старт

Запустите vLLM с OpenAI-совместимым сервером.

Ваш базовый URL должен предоставлять конечные точки /v1 (например, /v1/models, /v1/chat/completions). vLLM обычно работает на:

http://127.0.0.1:8000/v1

Согласитесь на обнаружение (любое значение подходит, если аутентификация не настроена):

export VLLM_API_KEY="vllm-local"

Выберите модель (замените на один из ваших идентификаторов модели vLLM):

{
  agents: {
    defaults: {
      model: { primary: "vllm/your-model-id" },
    },
  },
}

Обнаружение моделей (неявный провайдер)

Когда VLLM_API_KEY установлен (или существует профиль аутентификации) и вы не определяете models.providers.vllm, OpenClaw выполнит запрос:

GET http://127.0.0.1:8000/v1/models

…и преобразует возвращённые идентификаторы в записи моделей. Если вы явно зададите models.providers.vllm, автоматическое обнаружение пропускается, и вы должны определять модели вручную.

Явная конфигурация (ручные модели)

Используйте явную конфигурацию, когда:

vLLM работает на другом хосте/порту.
Вы хотите зафиксировать значения contextWindow/maxTokens.
Ваш сервер требует настоящий ключ API (или вы хотите контролировать заголовки).

{
  models: {
    providers: {
      vllm: {
        baseUrl: "http://127.0.0.1:8000/v1",
        apiKey: "${VLLM_API_KEY}",
        api: "openai-completions",
        models: [
          {
            id: "your-model-id",
            name: "Локальная модель vLLM",
            reasoning: false,
            input: ["text"],
            cost: { input: 0, output: 0, cacheRead: 0, cacheWrite: 0 },
            contextWindow: 128000,
            maxTokens: 8192,
          },
        ],
      },
    },
  },
}

Устранение неполадок

Проверьте, доступен ли сервер:

curl http://127.0.0.1:8000/v1/models

Если запросы завершаются ошибками аутентификации, установите настоящий VLLM_API_KEY, соответствующий конфигурации вашего сервера, или настройте провайдера явно в models.providers.vllm.

Venice AI Xiaomi MiMo