Урок 3: Железо под модели — от ноутбука инженера до кластера H100

Чему вы научитесь

• Быстро оценивать, потянет ли конкретное железо модель нужного класса без магии и маркетинга
• Отличать сценарий «инженерский ноутбук для пилота» от сценария «корпоративный inference-сервер»
• Понимать, когда спасает квантизация, а когда она только маскирует нехватку памяти
• Выбирать между RTX 4090, A6000, A100, H100 и edge-устройствами под конкретную задачу
• Ставить интегратору правильный вопрос: «какой объём VRAM и какой запас под контекст, а не просто какая у вас видеокарта»

Типовая ошибка первого AI-пилота проста: команда обсуждает модель, но не считает память. В итоге «локальный Qwen» не помещается в станцию, 70B на одной карте тормозит, а Jetson покупают под задачу, где нужен обычный сервер. Разложим железо по уровням — от ноутбука до кластера — и свяжем выбор с санкционным контуром из урока 5 модуля p.3.

От чего на самом деле зависит «потянет или нет»

Для LLM важны четыре вещи: вес модели, формат квантизации, KV-cache/контекст и среда исполнения — llama.cpp, Ollama, vLLM, TGI и TensorRT в версиях на апрель 2026 года используют память по-разному. Для управленческой оценки достаточно такого правила:

• FP16 — около 2 байт на параметр;
• Q8 — около 1 байта на параметр;
• Q5 — около 0,625 байта на параметр;
• Q4 — около 0,5 байта на параметр;
• сверху нужен запас под runtime, KV-cache и служебные буферы — обычно ещё 15-25%, точный объём зависит от длины контекста и движка. Ниже в уроке оценки VRAM округлены именно по этому правилу; для production-подбора всегда делайте контрольный прогон на своём контексте и реальном пайплайне (командный расчёт AIStudy от 20.04.2026).

Быстрая карта: какой размер модели куда помещается

flowchart TD
    A[Есть задача и выбран класс модели] --> B{Нужен только пилот у 1-3 человек?}
    B -->|Да| C{Модель до 8B в Q4-Q5?}
    C -->|Да| D[Ноутбук 16 ГБ или RTX 4060 8 ГБ]
    C -->|Нет| E[RTX 4090 24 ГБ или Mac M3 Max от 36 ГБ]
    B -->|Нет| F{Нужен отдел или корпоративный сервис?}
    F -->|Да| G{Модель 14B-32B?}
    G -->|Да| H[RTX 4090 24 ГБ или RTX A6000 48 ГБ]
    G -->|Нет| I[A100 80 ГБ или 2× A6000]
    F -->|Нет| J{Нужна высокая конкуррентность или 70B+?}
    J -->|Да| K[H100 H200 MI300X кластер]
    J -->|Нет| L[Пересмотрите размер модели и паттерн каскада]

Квантизация: где вы реально экономите, а где начинаете терять качество

Квантизация — это не «магия сжатия», а сознательный обмен качества и точности на память и скорость. Для локального запуска вам нужны пять практических форматов.

Лестница железа: от личной станции до enterprise

1. Ноутбук инженера и личная рабочая станция

Не путайте его с корпоративным контуром.

Как только появляются пользователи, SLA и ИБ-требования, ноутбук должен исчезнуть из архитектуры.

2. Рабочая станция отдела

Здесь живёт большинство производственных пилотов: RAG по регламентам, ассистент инженера, анализ PDF, внутренний чат по документам.

A6000 до сих пор любят из-за 48 ГБ ECC-памяти и предсказуемого серверного поведения. Для пилота по документам она часто практичнее consumer-карты с меньшим запасом VRAM.

3. Серверный и enterprise-уровень

Если вы хотите 70B, высокую конкуррентность или сложный мультимодальный стек, consumer-железо заканчивается.

H100 и H200 берут не ради «качества ответа», а ради масштаба, контекста и concurrency. Для 20 пользователей и одной задачи RAG кластер H100 почти наверняка избыточен.

Edge: где LLM заканчивается и начинается нормальный промышленный AI

Edge нужен там, где есть камера, сенсор, низкая задержка и плохая связь.

Санкционная картина 2026: почему «железо есть на рынке» не равно «его можно нормально внедрить»

Здесь вопрос не только в наличии, но и в закупке, сервисе и риске остановки.

Что это значит practically

• RTX 4090, A6000, A100, H100, H200 технически присутствуют на рынке, но официальный российский канал закупки high-end AI-инфраструктуры в 2026 году нестабилен — чаще это параллельный импорт, реселлеры и интеграторы.
• Для значимых объектов КИИ вопрос упирается не только в наличие карты, но и в происхождение стека, контракт, сервис и весь контур эксплуатации — см. урок 2 модуля p.3 про КИИ.
• Huawei Ascend 910B и другие китайские альтернативы часто обсуждают как замену NVIDIA, но с ними другая проблема: публичная спецификация и зрелость софта для внешнего заказчика фрагментарны, а экосистема сильно уступает CUDA. Для российского предприятия без сильной внутренней команды это почти всегда проект повышенного риска — точные публичные характеристики и доступность нужна проверка.
• Intel Arc A770 с 16 ГБ GDDR6 существует как дешёвая лабораторная альтернатива и поддерживает OpenVINO / oneAPI (Intel Arc A770), но в проде экосистема под LLM слабее NVIDIA.
• AMD MI300X выглядит сильно по памяти — 192 ГБ HBM3 на карту (AMD MI300X), но переход на ROCm — это отдельный архитектурный выбор, а не «ещё одна GPU».

В промышленности часто выигрывает не самое мощное, а самое обслуживаемое железо. Без канала поставки «параллельный» GPU быстро превращается в простой.

Как выбирать железо без самообмана

1. Определите класс модели. Не название, а размер: 3B, 8B, 14B, 32B, 70B.

2. Зафиксируйте формат. Для локального пилота — Q4/Q5. Для прод-сервера — AWQ/GPTQ или полноточный inference.

3. Посчитайте память с запасом. Не только веса, но и контекст, KV-cache, batch, системные буферы.

4. Сверьте контур данных. Если проект чувствителен по ПД или КИИ, сначала вернитесь к урокам 1 и 2 модуля p.3, потом покупайте сервер.

5. Разделите пилот и прод. Ноутбук и рабочая станция годятся для проверки гипотезы; корпоративный сервис — это уже отдельный контур.

6. Проверьте канал закупки. Наличие карты в объявлении не равно наличию сервиса, гарантии и запасных частей.

7. Сначала снижайте размер модели, потом наращивайте железо. Очень часто 14B на хорошей архитектуре закрывает задачу лучше и дешевле, чем 70B на дорогом кластере.

8. Смотрите на задачу, а не на хайп. Для CV и временных рядов часто нужен не H100, а Jetson, YOLO, Anomalib или Nixtla-стек — это разберём в уроке 7 модуля p.2.

Что брать по умолчанию: короткая рекомендация для CDTO

Если нужен быстрый старт, правило такое:

• Личный R&D — ноутбук 16 ГБ или Mac с 16-36 ГБ.
• Пилот отдела — RTX 4090 или RTX A6000.
• Корпоративный сервис на 32B-70B — A100 80GB или много-GPU стек.
• Высокая конкуррентность и большие контексты — H100/H200/MI300X-класс.
• Линия и realtime — Jetson, а не LLM-сервер.

Если в пилоте помогает arckep.ru или российский облачный API, это ещё не означает, что прод должен быть on-prem. Но как только вы упираетесь в ПД, КИИ или санкционный контур, выбор железа перестаёт быть чисто техническим. В этот момент снова открывайте уроки модуля p.3.