Модуль v.4 · Урок 3
Свои STT и TTS, деплой на GPU
Чему вы научитесь
- Понимать, зачем брать свои STT и TTS вместо облачных
- Ориентироваться в моделях распознавания и синтеза речи
- Видеть роль GPU и сервисов вроде RunPod
- Взвешивать компромисс «контроль против сложности»
- Понимать связь self-hosted голоса с приватностью в РФ
Зачем свой STT и TTS
В конвейере (урок v.0/02) распознавание и синтез — отдельные звенья. Облачные удобны, но у них три ограничения: цена на объёме, привязка к вендору и отправка аудио в чужой контур.
Собственные модели снимают эти ограничения ценой инженерной сложности. Это путь, когда у вас большой трафик, особые требования к голосу или данные нельзя отдавать наружу.
Модели распознавания (STT)
| Модель | Чем интересна |
|---|---|
Whisper (large-v3-turbo) | Мультиязычный эталон (MIT, ~809M параметров), в 8 раз быстрее классического large-v3 (обзор D-Central 2026) |
| Faster-Whisper | CTranslate2-оптимизация Whisper, заметно быстрее базового PyTorch |
NVIDIA Parakeet (parakeet-tdt-0.6b-v3) | Современный фаворит для локального GPU: требует около 2 ГБ VRAM и оставляет место на видеокарте под TTS (Intelligibberish 2026) |
| Moonshine | Сверхлёгкая модель, заточена под минимальную задержку на CPU и edge |
В курсе Neural Maze используют связку Moonshine и Faster-Whisper: лёгкую модель для скорости и более точную там, где это важно. Выбор STT — это снова борьба за задержку из урока v.0/02.
Модели синтеза (TTS)
| Модель | Чем интересна |
|---|---|
Kokoro (Kokoro-82M) | Лёгкий и быстрый синтез (Apache 2.0), работает даже на CPU |
| Orpheus 3B / Chatterbox | Выразительный открытый синтез с клонированием интонации для GPU |
| Fish Audio S2 Pro | Лидер открытого рейтинга TTS Arena 2026 года (Elo 1121–1128), но лицензия некоммерческая (The AI Bench) |
Здесь тот же компромисс: лёгкая модель даёт скорость, крупная — качество голоса. Для разных сценариев разумны разные модели, и иметь свой TTS означает, что вы можете выбирать, а не брать что дали.
Зачем GPU и что такое RunPod
Свои модели STT и TTS для realtime почти всегда требуют GPU: на процессоре они либо медленные, либо не тянут поток. Держать свою видеокарту дорого и не всегда нужно, поэтому берут аренду GPU по запросу.
RunPod — один из таких сервисов: вы поднимаете модель на арендованном GPU и платите за время работы. Это компромисс между «своё железо» и «облачный API»: контроль над моделью без покупки видеокарты.
Контроль против сложности
Своя связка STT/TTS — это всегда обмен.
- Вы получаете: контроль над качеством и стоимостью, независимость от вендора, возможность держать аудио в своём контуре.
- Вы платите: инженерными часами, эксплуатацией GPU, ответственностью за обновления и мониторинг моделей.
Связь с приватностью
Для РФ собственные STT/TTS — это в первую очередь про данные. Если аудио не уходит во внешнее облако, проще выполнить требования 152-ФЗ и работать с чувствительными звонками. Это тот же мотив, что и у offline-режима active-call из урока v.3/03.
Следующий урок
Observability и оценка качества диалогов — научимся измерять и улучшать агента, а не оценивать его на глаз.