Llm-D

Особенности LLM-трафика: почему round-robin не работает

Четыре свойства LLM-трафика — неоднородность 100×, стоимость ∝ токенам, KV-кэш как состояние на ноде, bursty 3–10 запросов на человека — и почему они ломают round-robin. Сигналы балансировки: load, sticky, prefix, health.