Что мы анализируем
Каждый проект проходит шесть этапов — от аудита текущего стека до ежемесячной поддержки. На этапе аудита мы смотрим на весь inference-стек — от модели до балансировки:
Модель и квантизация
- Подбор формата квантизации (INT4, INT8, FP8, AWQ, GPTQ)
- Оценка потери качества при квантизации
- Совместимость с GPU-архитектурой
Scheduler и batching
- Continuous batching и PagedAttention
- Параметры max_num_seqs, max_num_batched_tokens
- Prefill и decode баланс
Tensor parallelism
- Настройка TP для multi-GPU
- Pipeline parallelism для multi-node
- Network bandwidth оптимизация
KV Cache
- Управление памятью KV-cache
- Eviction policies
- Block management
Балансировка
- Multi-tenant serving
- Load balancing между инстансами
- Autoscaling стратегии
Ожидаемые результаты
Типичные результаты наших проектов:
- Throughput: ускорение в 2–5 раз
- Latency: снижение p99 на 20–50%
- GPU-экономика: сокращение расходов на 30–60%
- Стабильность: предсказуемый latency без скачков
Реальный пример
Эта методология — не теория. Мы применили её к собственному production-деплою: путь от 18 до 100 tok/s на 2×RTX 3090, 1 млрд токенов/сутки (пик) на 4×(2×RTX 3090) с собственным балансировщиком. Полная история — с конфигами, ошибками и токономикой — в серии «Наш опыт».