Prefix-Caching
Особенности LLM-трафика: почему round-robin не работает
Четыре свойства LLM-трафика — неоднородность 100×, стоимость ∝ токенам, KV-кэш как состояние на ноде, bursty 3–10 запросов на человека — и почему они ломают round-robin. Сигналы балансировки: load, sticky, prefix, health.
PagedAttention
PagedAttention — алгоритм управления KV-cache в vLLM: разбивка на блоки, устранение фрагментации памяти, prefix caching. Настройка и практические эффекты.