Load-Balancing

Мы написали балансировщик для 4 реплик vLLM: почему NGINX не работает для LLM

Часть 4 серии «Наш опыт»: почему round-robin убивает throughput LLM-инференса и как собственный Python-балансировщик (soft sticky + least-loaded + health без user traffic) держит сессии на тёплой KV-cache. Четыре production-инцидента, которые сформировали алгоритм.

Особенности LLM-трафика: почему round-robin не работает

Четыре свойства LLM-трафика — неоднородность 100×, стоимость ∝ токенам, KV-кэш как состояние на ноде, bursty 3–10 запросов на человека — и почему они ломают round-robin. Сигналы балансировки: load, sticky, prefix, health.

Multi-tenant Serving

Multi-tenant serving для vLLM: fair scheduling, изоляция ресурсов, приоритеты, request-level и token-level scheduling, и как 4 реплики + Python-балансировщик решают это в референс-деплое.