Benchmark

Как мы выбрали Qwen3.8-27B из 12 моделей: бенчмарки, MTP и почему 27B — sweet spot

Часть 2 серии «Наш опыт»: сравнение 12 моделей на 2×RTX 3090 — Terminal-Bench, DeepSWE, MTP, VRAM. Почему 27B — оптимум для агентного кодинга.

A100 vs RTX 4090

Бенчмарк A100 80GB против 4×RTX 4090 для LLM-инференса на vLLM: throughput, latency, стоимость/мес и цена за 1M токенов. Когда consumer-железо выигрывает у datacenter.

Qwen 27B на 2×RTX 3090

Бенчмарк Qwen3.8-27B-AWQ-MTP на 2×RTX 3090 (TP=2): 100 tok/s, TTFT 1.8s, контекст 256K. До/после тюнинга vLLM и полный конфиг.