Gpu
Почему мы собрали LLM-сервер, который жжёт миллиард токенов в сутки
Часть 1 серии «Наш опыт»: мотивация self-hosted LLM-инференса и путь железа от Tesla M40 до 4×(2×RTX 3090) — с цифрами на каждой фазе.
1 млрд токенов/сутки: финальная архитектура, тономика и что мы бы сделали по-другому
Часть 5 серии «Наш опыт»: финальная схема 4×(2×RTX 3090), честный расчёт 1 млрд токенов/сутки (пик), тономика (~$4,500/год против $35–125K API, 1M токенов ~1–1.5 ₽, payback 1–2 месяца) и 5 уроков пути.