Встроенные инструменты

Firecrawl

OpenClaw может использовать Firecrawl в качестве резервного инструмента извлечения для web_fetch. Это сервис извлечения контента с поддержкой обхода ботов и кэширования, что помогает при работе с сайтами, использующими много JavaScript, или страницами, блокирующими обычные HTTP-запросы.

Получение API-ключа

  1. Создайте аккаунт Firecrawl и сгенерируйте API-ключ.
  2. Сохраните его в конфигурации или установите переменную окружения FIRECRAWL_API_KEY в шлюзе.

Настройка Firecrawl

{
  tools: {
    web: {
      fetch: {
        firecrawl: {
          apiKey: "FIRECRAWL_API_KEY_HERE",
          baseUrl: "https://api.firecrawl.dev",
          onlyMainContent: true,
          maxAgeMs: 172800000,
          timeoutSeconds: 60,
        },
      },
    },
  },
}

Примечания:

  • firecrawl.enabled по умолчанию имеет значение true при наличии API-ключа.
  • maxAgeMs определяет, насколько старыми могут быть кэшированные результаты (в мс). По умолчанию — 2 дня.

Скрытность / обход ботов

Firecrawl предоставляет параметр режима прокси для обхода ботов (basic, stealth или auto). OpenClaw всегда использует proxy: "auto" вместе с storeInCache: true для запросов к Firecrawl. Если параметр proxy не указан, Firecrawl использует значение по умолчанию auto. Режим auto повторяет попытку с использованием скрытых прокси, если обычная попытка не удалась, что может расходовать больше кредитов, чем парсинг только в режиме basic.

Как web_fetch использует Firecrawl

Порядок извлечения web_fetch:

  1. Readability (локально)
  2. Firecrawl (если настроен)
  3. Базовая очистка HTML (последний резервный вариант)

Полную настройку веб-инструментов смотрите в разделе Веб-инструменты.

Exec ApprovalsLLM Task