Le message est clair, l'infrastructure ne suit pas et coûte trop cher, donc on limite son utilisation.
Pour aider à déterminer quel LLM peut être exécuté sur tel hardware.
Un outil de Google, apparemment bien répandu chez les étudiants, pour aider à l'apprentissage, en évitant les hallucinations car basé sur les sources qu'on lui donne. Coudé.
Encore un autre LLM, mais plus agnostique, donc pas cantonné à quelques modèles payants.
Exemple d'utilisation : https://www.xda-developers.com/kilo-is-vs-code-extension-works-with-every-local-llm-i-throw-at-it/
Une webui pour vLLM (shaarkling précédent, huhu) et d'autres LLM.
Une alternative à Ollama, qui semble avoir de meilleures performances dans les tests.
Pour lancer un LLM orienté Red Team localement.
Pour avoir son LLM privé, nécessite une RTX 30xx ou 40xx.