Une webui pour vLLM (shaarkling précédent, huhu) et d'autres LLM.
Une alternative à Ollama, qui semble avoir de meilleures performances dans les tests.
Pour lancer un LLM orienté Red Team localement.
Pour avoir son LLM privé, nécessite une RTX 30xx ou 40xx.