Tensorrt-Llm

Какой движок инференса выбрать: vLLM, SGLang, TensorRT-LLM, llama.cpp, Ollama, TGI, LMDeploy

Сравнение движков инференса по сложности и возможностям: vLLM, SGLang, TensorRT-LLM, llama.cpp, Ollama, TGI, LMDeploy. Форматы GGUF vs AWQ/FP8 и путь модели disk → RAM 1.2X → VRAM 1–2X.