NVIDIA Nemotron 3: открытые модели для AI-агентов с контекстом 1 млн токенов

NVIDIA анонсировала новое семейство открытых моделей Nemotron 3, специально разработанных для построения эффективных многоагентных систем искусственного интеллекта. Модели оптимизированы для работы с длинным контекстом и сложными многошаговыми задачами.

Три версии для разных задач

🔹 Nemotron 3 Nano (уже доступна)

• 30 миллиардов параметров, из которых активируются около 3 миллиардов на каждый токен
• Рекордный контекст — до 1 миллиона токенов
• В 4 раза быстрее предыдущей версии Nemotron 2 Nano
• Уже можно скачать на Hugging Face и использовать как NIM-сервис

🔹 Nemotron 3 Super (выпуск в первой половине 2026 года)

• Около 100 миллиардов параметров с активацией до 10 миллиардов на токен
• Предназначена для сложных многоагентных приложений с низкой задержкой

🔹 Nemotron 3 Ultra (выпуск в первой половине 2026 года)

• Около 500 миллиардов параметров с активацией до 50 миллиардов на токен
• Мощный инструмент для задач, требующих глубокого анализа и стратегического планирования

Что делает эти модели особенными

В основе Nemotron 3 лежит инновационная гибридная архитектура на основе смеси экспертов (Mixture-of-Experts), которая позволяет активировать только необходимые части модели для каждой задачи. Это значительно повышает эффективность и снижает вычислительные затраты.

Для самых больших моделей (Super и Ultra) NVIDIA использует собственный 4-битный формат NVFP4, что позволяет тренировать гигантские нейросети на существующей инфраструктуре без потери точности.

Практическая польза

• 🚀 Высокая скорость: Nano обрабатывает в 4 раза больше токенов в секунду, чем предыдущее поколение
• 📚 Длинный контекст: Модель помнит информацию на протяжении миллионов токенов, что идеально для работы с большими документами и кодовыми базами
• 🔓 Полная прозрачность: Открытые веса и методики обучения позволяют разработчикам создавать специализированных агентов под свои задачи
• 💰 Экономия ресурсов: Благодаря архитектуре MoE и оптимизациям памяти, эти модели требуют меньше вычислительных ресурсов при сохранении высокой точности

NVIDIA также предоставляет открытые датасеты для обучения (3 триллиона токенов), библиотеки для reinforcement learning (NeMo Gym и NeMo RL) и инструменты для оценки безопасности агентов.

Это не просто еще одна языковая модель — это целая экосистема для создания следующего поколения ИИ-агентов, которые смогут работать вместе, решая сложные задачи от разработки программного обеспечения до анализа медицинских данных.

📄 Подробности: Технический отчет

🤗 Скачать модель: Hugging Face коллекция