Сверхбыстрая языковая модель для работы...

Сверхбыстрая языковая модель для работы непосредственно на устройствах

Cactus-Compute представила компактную открытую модель Needle, которая способна выдавать до 6000 токенов в секунду. Модель оптимизирована для запуска на локальном оборудовании, что обеспечивает высокую скорость и конфиденциальность данных.

Такая производительность подходит для интеграции в пользовательские интерфейсы, где важна мгновенная реакция системы.

Ссылка: https://huggingface.co/Cactus-Compute/needle @AIandproducts