Наш опыт настройки ИИ инфраструктуры в компании

Референс-деплой CodeOnTime: 1 млрд токенов/сутки на 4×(2×RTX 3090). Пять частей — от железа и подбора модели до тюнинга vLLM, собственного балансировщика и тономики.

1 млрд токенов/сутки (пиковая нагрузка)

80–100 tok/s на каждого пользователя

1–1.5 ₽ за 1M токенов

3.5 кВт мощность фермы

Это не теория и не «best practices из документации». Это история реального production-деплоя, который мы построили и эксплуатируем: от Tesla M40 до четырех узлов по 2×RTX 3090, 12 протестированных моделей, 4 итерации тюнинга vLLM за 3 недели и собственный балансировщик для LLM-трафика.

Серия из пяти частей. Каждая читается отдельно, вместе они образуют полный путь: 0 → 1 млрд токенов/сутки на consumer-железе.

Мы пишем честно: про crash на MTP, про KV-cache, который «не влезает», про 2 недели без мониторинга и про то, что мы бы сделали по-другому. Именно это — компромиссы, ошибки и конкретные цифры — делает историю полезной.

Серия — 5 частей

Часть 1

Почему мы собрали LLM-сервер, который жжёт миллиард токенов в сутки

Мотивация и железо: от 10–20 tok/s на Tesla M40 до 12-картной фермы. Почему API не подошёл и какой путь мы прошли, чтобы дойти 1 млрд токенов/сутки.

Часть 2

Как мы выбрали Qwen3.8-27B из 12 моделей: бенчмарки, MTP и почему 27B — sweet spot

Процесс отбора модели: критерии, таблица бенчмарков 12 моделей и почему MTP решает всё на 3090.

Часть 3

vLLM на 2×RTX 3090: от 18 до 100 tok/s — MTP, TP, KV-cache, OMP_NUM_THREADS

4 параметра в конфиге и 2 дня отладки, которые дали ×4.2 скорости: от 18 до 100 tok/s. Все итерации, crash на MTP и финальный конфиг.

Часть 4

Мы написали балансировщик для 4 реплик vLLM: почему NGINX не работает для LLM

Четыре production-инцидента — кристаллизация, слепое пятно WLC, health через user traffic, flap — и финальный алгоритм: least-loaded + soft sticky. И что мы сознательно убрали из «умного» скоринга.

Часть 5

1 млрд токенов/сутки: финальная архитектура, тономика и что мы бы сделали по-другому

Финальная архитектура, расчёт 1 млрд токенов/сутки (пик 1B, средний 600–750M), тономика и 5 вещей, которые мы бы сделали иначе.

Хотите, чтобы мы сделали это для вашей компании?

Мы тюнингуем production-инференс на vLLM под конкретное железо и SLA: от аудита и бенчмарков до нагрузочного тестирования. Обсудим вашу инфраструктуру.

Обсудить проект