NVIDIA и OpenAI представили потребителям новейшее семейство открытых моделей ИИ gpt-oss, обеспечивающее высочайшую производительность на графических процессорах RTX.
NVIDIA RTX 5090 обеспечивает производительность 250 токенов/с на модели ИИ OpenAI gpt-oss 20b, графические процессоры PRO также готовы к gpt-oss 120b
Пресс-релиз: Сегодня NVIDIA объявила о своем сотрудничестве с OpenAI с целью предоставить потребителям новое семейство открытых моделей gpt-oss, позволяющее современному ИИ, ранее доступному исключительно в облачных центрах обработки данных, работать с невероятной скоростью на ПК и рабочих станциях на базе RTX.
Основатель и генеральный директор NVIDIA Дженсен Хуанг подчеркнул важность этого запуска:
«OpenAI показала миру, что можно создать на базе NVIDIA AI, и теперь они продвигают инновации в области программного обеспечения с открытым исходным кодом», — сказал Дженсен Хуанг, основатель и генеральный директор NVIDIA. «Модели gpt-oss позволяют разработчикам по всему миру создавать решения на этой передовой платформе с открытым исходным кодом, укрепляя лидерство США в области технологий ИИ — и всё это на базе крупнейшей в мире вычислительной инфраструктуры для ИИ».
Запуск знаменует собой появление нового поколения более быстрого и интеллектуального искусственного интеллекта на устройствах, усиленного мощью графических процессоров GeForce RTX и PRO. Доступны две новые версии, разработанные для всей экосистемы:
- Модель gpt-oss-20b оптимизирована для работы с максимальной производительностью на ПК NVIDIA RTX AI с объемом видеопамяти не менее 16 ГБ, обеспечивая производительность до 250 токенов в секунду на графическом процессоре RTX 5090.
- Более крупная модель gpt-oss-120b поддерживается на профессиональных рабочих станциях с графическими процессорами NVIDIA RTX PRO.
Обученные на графических процессорах NVIDIA H100, эти модели стали первыми моделями, поддерживающими точность MXFP4 на NVIDIA RTX. Эта технология повышает качество и точность моделей без дополнительных затрат производительности по сравнению со старыми методами. Обе модели поддерживают длину контекста до 131 072 элементов, что является одним из самых длинных значений для локального вывода. Они построены на гибкой архитектуре «смешанные эксперты» (MoE) с возможностями построения цепочки мыслей, а также поддержкой следования инструкциям и использования инструментов.
На этой неделе в RTX AI Garage рассказывается, как энтузиасты и разработчики ИИ могут начать работу с новыми моделями OpenAI на графических процессорах NVIDIA RTX:
- Приложение Ollama: проще всего тестировать эти модели с помощью нового приложения Ollama. Его пользовательский интерфейс включает встроенную поддержку моделей gpt-oss, полностью оптимизированных для видеокарт RTX.
- Llama.cpp: NVIDIA сотрудничает с сообществом разработчиков ПО с открытым исходным кодом для оптимизации производительности графических процессоров RTX. Среди недавних достижений — CUDA Graphs для снижения накладных расходов. Разработчики могут начать работу с Llama.cpp в репозитории GitHub.
- Microsoft AI Foundry: разработчики Windows могут получить доступ к моделям через Microsoft AI Foundry Local (доступна общедоступная предварительная версия). Для начала работы достаточно выполнить команду Foundry model run gpt-oss-20b в терминале.