Rtx-3090
Почему мы собрали LLM-сервер, который жжёт миллиард токенов в сутки
Часть 1 серии «Наш опыт»: мотивация self-hosted LLM-инференса и путь железа от Tesla M40 до 4×(2×RTX 3090) — с цифрами на каждой фазе.
Как мы выбрали Qwen3.8-27B из 12 моделей: бенчмарки, MTP и почему 27B — sweet spot
Часть 2 серии «Наш опыт»: сравнение 12 моделей на 2×RTX 3090 — Terminal-Bench, DeepSWE, MTP, VRAM. Почему 27B — оптимум для агентного кодинга.
vLLM на 2×RTX 3090: от 18 до 100 tok/s — MTP, TP, KV-cache, OMP_NUM_THREADS
Часть 3 серии «Наш опыт»: 4 итерации тюнинга vLLM — MTP-декодирование, KV-cache на 256K, OMP_NUM_THREADS=1, mamba-cache-mode. Полный финальный конфиг и бенчмарк до/после.
1 млрд токенов/сутки: финальная архитектура, тономика и что мы бы сделали по-другому
Часть 5 серии «Наш опыт»: финальная схема 4×(2×RTX 3090), честный расчёт 1 млрд токенов/сутки (пик), тономика (~$4,500/год против $35–125K API, 1M токенов ~1–1.5 ₽, payback 1–2 месяца) и 5 уроков пути.
Qwen 27B на 2×RTX 3090
Бенчмарк Qwen3.8-27B-AWQ-MTP на 2×RTX 3090 (TP=2): 100 tok/s, TTFT 1.8s, контекст 256K. До/после тюнинга vLLM и полный конфиг.