Модуль 3.4 · Урок 4
Урок 4: Бенчмарки — какую модель выбрать для OpenClaw
Чему вы научитесь
- Понимать, что измеряет PinchBench — стандартный агентский бенчмарк для OpenClaw
- Знать топ моделей по доле успешных задач (success rate) на октябрь 2026 года среди 61 протестированной модели
- Видеть, где OpenClaw выигрывает у готовых чат-ботов в мессенджерах, а где проигрывает
- Выбирать оптимальную связку моделей под свой бюджет и тип задач
Зачем нужен бенчмарк
Когда вы выбираете модель для OpenClaw — семейство Claude (Opus, Sonnet, Haiku), GPT-5.6 / GPT-6.1 Sol, Qwen 3.7, Gemini 3.1 / 3.8, Grok, DeepSeek V4, Kimi K2.7, GLM-5.2 или локальную модель через Ollama — у каждой свои сильные и слабые стороны. Маркетинговые релизы вендоров всегда оптимистичны, а реальные бенчмарки показывают, как модели справляются именно с агентскими задачами в среде OpenClaw: вызвать shell-команду, разобрать почту, заполнить структуру файлов, восстановить шаг после ошибки инструмента.
Стандартный бенчмарк для OpenClaw — PinchBench (pinchbench.com, публичное зеркало таблицы — benchlm.ai/benchmarks/pinchBench), созданный при поддержке проекта Kilo.
Что измеряет PinchBench
| Параметр | Значение (октябрь 2026) |
|---|---|
| Количество протестированных моделей | 61 (срез от 10 октября 2026, benchlm.ai/benchmarks/pinchBench) |
| Количество стандартизированных задач | 147 |
| Категории | Код, аналитика данных, работа с документами, продуктивность, многошаговый поиск, безопасность, вызовы инструментов (tool-use) |
| Оценка | Автоматизированные проверки состояния воркспейса + LLM-as-judge |
Задачи приближены к реальной эксплуатации OpenClaw: «разбери входящие письма по приоритету», «найди свободное окно в календаре и создай встречу», «сверь таблицу из трёх источников и сохрани отчёт».
Лидерборд PinchBench на октябрь 2026 года
Источники: pinchbench.com и публичный снимок benchlm.ai/benchmarks/pinchBench (обновление от 10 октября 2026 года, 61 модель).
| Место | Модель | Провайдер | Тип весов | Success rate |
|---|---|---|---|---|
| 1 | claude-opus-4.8-fast | Anthropic | Закрытая | 93.5% |
| 2 | Qwen3.7 Max | Alibaba | Закрытая | 92.5% |
| 3 | Claude Opus 4.8 | Anthropic | Закрытая | 90.5% |
| 4 | Nemotron 3.5 Bolt 74B-A9B BF16 | NVIDIA | Открытые веса | 90.4% |
| 5 | nemotron-3-ultra-550b-a55b | NVIDIA | Открытые / API | 89.9% |
| 6 | MiMo-V2.5 | Xiaomi | Закрытая | 89.7% |
| 7 | Grok Build 0.1 | xAI | Закрытая | 88.9% |
| 8 | GPT-5.6 Luna | OpenAI | Закрытая | 88.7% |
| 9 | qwen3.6-flash | Alibaba | Открытые / API | 88.1% |
| 11 | MiMo-V2.5-Pro | Xiaomi | Закрытая | 87.5% |
| 12 | GLM-5.2 | Z.AI | Открытые веса | 87.0% |
| 14 | GPT-5.6 Sol | OpenAI | Закрытая | 84.2% |
| 16 | DeepSeek V4 Flash 0731 | DeepSeek | Открытые веса | 81.7% |
| 17 | Gemini 3.1 Pro | Закрытая | 81.0% | |
| 18 | Gemini 3.1 Flash-Lite | Закрытая | 80.5% | |
| 19 | Grok 4.20 | xAI | Закрытая | 80.3% |
| 22 | Kimi K2.7 Code | Moonshot AI | Открытые веса | 76.1% |
| 23 | Claude Opus 4.7 (лидер весны 2026) | Anthropic | Закрытая | 76.0% |
| 29 | Gemini 3.5 Flash | Закрытая | 74.2% |
Примечание о новых осенних моделях (сентябрь–октябрь 2026): вышедшие в конце сентября — октябре 2026 года линейки Claude Sonnet 5.5 / Opus 5.5 / Haiku 5.5, GPT-6.1 Sol и Gemini 3.8 Pro / Flash уже доступны в OpenClaw (
v2026.10.6), но в замороженном срезе PinchBench от 10.10.2026 от Anthropic представлены конфигурацииclaude-opus-4.8-fastиClaude Opus 4.8.
Что изменилось к осени 2026 года и что бросается в глаза:
- Огромный рывок точности агентских моделей за полгода. Модель
Claude Opus 4.7с результатом 76.0%, которая возглавляла рейтинг весной 2026 года, к октябрю переместилась на 23-ю строчку, а целых 19 моделей преодолели планку 80% успешного выполнения многошаговых задач. - Anthropic и Alibaba делят первые три места (90.5%–93.5%).
claude-opus-4.8-fast(93.5%) иQwen3.7 Max(92.5%) идут практически вровень. При этом дешёвая и быстраяqwen3.6-flashпоказывает 88.1% (9-е место), что делает семейство Qwen одним из лучших по соотношению цены и качества. - Модели с открытыми весами вплотную догнали проприетарных флагманов. MoE-модель NVIDIA Nemotron 3.5 Bolt 74B-A9B (всего 9 млрд активных параметров при 74 млрд общих) набирает 90.4% (4-е место в абсолютном зачёте), GLM-5.2 от Z.AI — 87.0%, а DeepSeek V4 Flash — 81.7%.
- Богатый выбор моделей, доступных из РФ напрямую или через OpenRouter без жёстких блокировок. Qwen 3.7 Max / 3.6 Flash, Xiaomi MiMo-V2.5 (89.7%), GLM-5.2 (87.0%), DeepSeek V4 Flash (81.7%) и Kimi K2.7 Code (76.1%) позволяют собрать надёжного агента без привязки к западным корпоративным аккаунтам.
Актуальный интерактивный рейтинг и стоимость одного прогона — на pinchbench.com и benchlm.ai/benchmarks/pinchBench.
Что эти числа означают на практике
91% vs 89% — это не «топовая модель в полтора раза лучше середнячка». Это «из 100 задач топ ошибётся в 9, средняя в 11». Большинство ваших задач отработают одинаково.
Где разница реально проявляется:
- Сложные multi-step задачи (15+ шагов) — топ-модели держат контекст, средние теряют нить
- Tool-use в нестандартной ситуации — топ-модели разбираются с ошибками skills, средние стопорятся
- Russian/китайский текст — Anthropic и китайские (MiMo, GLM) сильнее, чем GPT
- Безопасность (отказ выполнять опасные команды) — заметная разница в сторону Claude
Где OpenClaw выигрывает у готовых ботов в мессенджерах
Карта готовых ботов (Алиса, GigaChat, Copilot, Meta AI, Grok Bot, Claude из Telegram) — в модуле 3.0. Этот урок — про выбор модели для уже поставленного OpenClaw.
Коротко, чем OpenClaw не является готовым чатом:
Преимущества OpenClaw:
| Что | Чем лучше |
|---|---|
| Persistent memory | Помнит контекст недели/месяцы. ChatGPT-боты обнуляются при каждой сессии. |
| Реальные действия | Открывает email, calendar, browser. Большинство ботов только читают и отвечают. |
| Один агент во всех мессенджерах | Telegram + WhatsApp + Discord + iMessage — одна персона, одна память. У ChatGPT-ботов — отдельная установка для каждого канала. |
| Кастомизация через soul.md и skills | Без программирования, но глубокая. Custom GPT и Claude Projects ограничены платформой. |
| Open source | Полный аудит кода, no vendor lock-in. Облачные — закрытый код, ваша зависимость от вендора. |
Источники: Reddit /r/OpenAI «openclaw vs ChatGPT plus», getopenclaw.ai/vs/chatgpt.
Где OpenClaw проигрывает
Сложность setup. Открыть Алису или GigaChat — минута. OpenClaw — час плюс soul.md, каналы, модель. Для одноразового «спросить в чате» это лишняя работа.
Out-of-the-box reasoning. Если вы хотите просто «спроси модель что-то умное» — лучше идите в нативный ChatGPT/Claude. OpenClaw добавляет слой ассистента, который для простого Q&A только увеличивает latency.
Безопасность. ChatGPT-бот в Telegram читает только то, что ему пишут. OpenClaw читает всё. См. отдельный урок 3.5/04-security — это серьёзно.
Стоимость. Если использовать топ-модели через OpenClaw активно (несколько каналов, постоянная автоматизация) — $10–50 в месяц на API. Бесплатные Telegram-боты от вендоров — $0.
Как выбрать модель для своего OpenClaw
| Сценарий | Рекомендуемая модель (октябрь 2026) |
|---|---|
| Личный ассистент, чат + лёгкая автоматизация | Claude Haiku 5.5 ($1/$5 за 1M) или Qwen 3.6 Flash (88.1% на PinchBench) — минимальная стоимость и мгновенный отклик |
| Серьёзная автоматизация в нескольких каналах | Claude Sonnet 5.5 ($3/$15 за 1M, контекст 1M) или GPT-5.6 Sol / GPT-6.1 Sol |
| Сложные задачи, multi-step research и архитектура | Claude Opus 5.5 ($5/$25 за 1M) / Claude Opus 4.8-fast (93.5% на PinchBench) или Qwen 3.7 Max (92.5%) |
| Из России без западных подписок | Qwen 3.7 Max / 3.6 Flash, Xiaomi MiMo-V2.5, GLM-5.2, DeepSeek V3.2 / V4 Flash; либо GigaChat 3 Ultra / 3.5 и YandexGPT 5.1 Pro / Alice AI LLM (урок 3.5/02) |
| Полная приватность на своём GPU | Nemotron 3.5 Bolt 74B-A9B (90.4% на PinchBench при 9B активных параметров), GLM-5.2 или Qwen 3 через Ollama / vLLM |
| Multi-agent (см. 3.4/01) | Routing: быстрые вопросы и cron → Haiku 5.5 / Qwen 3.6 Flash, сложные задачи → Sonnet 5.5 / Opus 5.5 |
Практика
Задача: прогон вашего OpenClaw на собственном мини-бенчмарке.
- Возьмите 10 типичных запросов, которые вы уже делали агенту за последнюю неделю.
- Прогоните каждый через 3 модели: быструю (Haiku 5.5 или Qwen 3.6 Flash), сбалансированную (Sonnet 5.5 или DeepSeek V4 Flash) и вашу текущую.
- Поставьте субъективную оценку 1–5 каждому ответу. Сложите.
- Посмотрите соотношение качества к стоимости (
openclaw cost --model <name>).
Часто оказывается, что младшей модели хватает для 80% ваших повседневных задач — и вы тратите в 3–5 раз меньше.
Что запомнить
- PinchBench — главный ориентир для выбора модели под OpenClaw. 61 модель, 147 реальных задач, срез от октября 2026 года (benchlm.ai/benchmarks/pinchBench).
- Лидеры осени 2026 перешагнули порог 90%:
claude-opus-4.8-fast(93.5%),Qwen3.7 Max(92.5%),Claude Opus 4.8(90.5%) и открытаяNemotron 3.5 Bolt 74B-A9B(90.4%). Для новых конфигураций Anthropic используйте актуальную линейку Claude Haiku 5.5 / Sonnet 5.5 / Opus 5.5. - Из РФ без прокси доступны сильные модели из топ-20: Qwen 3.7 Max / 3.6 Flash, Xiaomi MiMo-V2.5, Z.AI GLM-5.2 и DeepSeek V4 Flash / V3.2.
- OpenClaw выигрывает у готовых чат-ботов за счёт долговременной памяти и реальных действий с файлами, но требует времени на настройку и защиту.
- На большинстве бытовых задач разница между моделями с рейтингом 85%+ и 93% минимальна — используйте маршрутизацию, чтобы не переплачивать.