Groq
Groq exécute des LLM open source sur du matériel LPU personnalisé pour une inférence ultra-rapide. L’option LLM la plus rapide disponible.
Configuration
- Inscrivez-vous sur console.groq.com.
- Créez une clé API.
- Dans les paramètres de OpenTypeless, sélectionnez Groq et collez la clé API.
Vitesse
Le matériel LPU de Groq fournit des réponses en millisecondes. Si vous voulez l’expérience de polissage la plus rapide, Groq est inégalé.