Снижение затрат на работу ИИ в восемь раз от Nvidia

Снижение затрат на работу ИИ в восемь раз от Nvidia

Новая технология Dynamic Memory Sparsification помогает существующим моделям эффективнее использовать память. Она автоматически определяет и удаляет неактуальные данные из рабочего окна ИИ, сохраняя при этом точность ответов.

Для разработчиков продуктов это означает возможность кратно снизить расходы на эксплуатацию ИИ-агентов, сохранив высокое качество логических выводов даже при выполнении длительных и сложных задач по автоматизации.

Ссылка: https://venturebeat.com/orchestration/nvidias-new-technique-cuts-llm-reasoning-costs-by-8x-without-losing-accuracy @AIandproducts