Запуск мощных нейросетей на обычных ноутбуках

Запуск мощных нейросетей на обычных ноутбуках

Инструмент с открытым кодом Colibri позволяет запускать огромные языковые модели на обычных компьютерах без дорогостоящих видеокарт и с минимальным объемом оперативной памяти. Технология использует принцип выборочной активации, когда в памяти удерживается только малая часть модели, а остальные данные подгружаются с диска в процессе работы.

Это открывает возможность компаниям использовать передовые технологии локально, обеспечивая полную приватность данных и исключая счета за облачные сервисы, хотя и с более низкой скоростью генерации текста.

Ссылка: https://github.com/JustVugg/colibri @AIandproducts