Load-Balancing

Особенности LLM-трафика: почему round-robin не работает

Четыре свойства LLM-трафика — неоднородность 100×, стоимость ∝ токенам, KV-кэш как состояние на ноде, bursty 3–10 запросов на человека — и почему они ломают round-robin. Сигналы балансировки: load, sticky, prefix, health.

Multi-tenant Serving

Multi-tenant serving для vLLM: fair scheduling, изоляция ресурсов, приоритеты, request-level и token-level scheduling, и как 4 реплики + Python-балансировщик решают это в референс-деплое.