Groq
Groq запускает LLM с открытым исходным кодом на специализированном оборудовании LPU для сверхбыстрого инференса. Самый быстрый доступный вариант LLM.
Настройка
- Зарегистрируйтесь на console.groq.com.
- Создайте API-ключ.
- В настройках OpenTypeless выберите Groq и вставьте API-ключ.
Скорость
Оборудование LPU от Groq выдаёт ответы за миллисекунды. Если вам нужна максимально быстрая обработка, Groq вне конкуренции.