OpenAI выпустила собственный чип для ускорения работы моделей

OpenAI выпустила собственный чип для ускорения работы моделей

OpenAI представила Jalapeño, специализированный процессор, созданный совместно с Broadcom. В отличие от универсальных решений, этот чип разработан исключительно для инференса — процесса выдачи ответов пользователям.

Для бизнеса и разработчиков продуктов это означает потенциальное снижение стоимости API-вызовов, ускорение генерации контента и более стабильную работу сервисов при пиковых нагрузках. Разработка заняла всего девять месяцев, и чип уже показывает высокую энергоэффективность в тестах, что поможет компании справляться с дефицитом вычислительных мощностей.

Ссылка: https://openai.com/index/openai-broadcom-jalapeno-inference-chip/ @AIandproducts