Qwen
Почему мы собрали LLM-сервер, который жжёт миллиард токенов в сутки
Часть 1 серии «Наш опыт»: мотивация self-hosted LLM-инференса и путь железа от Tesla M40 до 4×(2×RTX 3090) — с цифрами на каждой фазе.
Как мы выбрали Qwen3.8-27B из 12 моделей: бенчмарки, MTP и почему 27B — sweet spot
Часть 2 серии «Наш опыт»: сравнение 12 моделей на 2×RTX 3090 — Terminal-Bench, DeepSWE, MTP, VRAM. Почему 27B — оптимум для агентного кодинга.
Матрица моделей по размерным классам: одна задача — одна модель
Какие модели брать по размерным классам: ≤3B — документы и аудио, ≤8B — RAG и поиск, ≤15B — рефакторинг, ≤35B — агентский кодинг. Конкретные модели и почему наш выбор — Qwen3.8-27B-AWQ-MTP.
Что ожидают пользователи от LLM-инференса в 2026: шесть параметров
Шесть параметров, которые в 2026 считаются стандартом, а не завышенным запросом: 80–100 tok/s, контекст 256K, 50M токенов/сутки на человека, качество ≥ Claude 3.5 Sonnet, OpenAI/Anthropic-совместимый API, статистика и доступы.
Qwen 27B на 2×RTX 3090
Бенчмарк Qwen3.8-27B-AWQ-MTP на 2×RTX 3090 (TP=2): 100 tok/s, TTFT 1.8s, контекст 256K. До/после тюнинга vLLM и полный конфиг.