Un binaire pour proxifier les commandes envoyées aux LLM et réduire le nombre de tokens utilisés.

TL;DR, un tuto de chez Infomaniak.

"Or it's a bunch of pre-IPO hype."

Le message est clair, l'infrastructure ne suit pas et coûte trop cher, donc on limite son utilisation.

Pour aider à déterminer quel LLM peut être exécuté sur tel hardware.

Un outil de Google, apparemment bien répandu chez les étudiants, pour aider à l'apprentissage, en évitant les hallucinations car basé sur les sources qu'on lui donne. Coudé.

Encore un autre LLM, mais plus agnostique, donc pas cantonné à quelques modèles payants.

Exemple d'utilisation : https://www.xda-developers.com/kilo-is-vs-code-extension-works-with-every-local-llm-i-throw-at-it/

Une webui pour vLLM (shaarkling précédent, huhu) et d'autres LLM.

Une alternative à Ollama, qui semble avoir de meilleures performances dans les tests.

Pour lancer un LLM orienté Red Team localement.

Pour avoir son LLM privé, nécessite une RTX 30xx ou 40xx.

via http://links.cochi.se/?sg0dGg