NVIDIA представила решение — открытую базовую модель Cosmos 3, которая объединяет текст, изображения, видео, звуки и действия. Это позволяет ИИ не просто видеть сцену, а понимать, что происходит вокруг, и выбирать следующий шаг. На конференции GTC Taipei компания также показала эталонного гуманоидного робота Isaac GR00T, инструменты для автоматизации разработки и модель для беспилотных автомобилей Alpamayo 2 Super. Кроме того, NVIDIA и TSMC расширили сотрудничество: теперь ИИ используют на всех этапах производства чипов — от литографии до контроля пластин. По словам главы NVIDIA Дженсена Хуанга, ускоренные вычисления и ИИ уже работают внутри фабрик, меняя проектирование, симуляцию и производство.
Материал
На конференции GTC Taipei компания NVIDIA анонсировала набор технологий для физического ИИ — систем, которым нужно понимать не только текст и картинки, но и реальные объекты, движение, звук, роботов, автомобили и производственные процессы. Главная новинка — открытая базовая модель Cosmos 3, построенная на архитектуре mixture-of-transformers. NVIDIA описывает её как единую систему для текста, изображений, видео, звуков окружающей среды и действий. «Такой набор нужен там, где ИИ должен не просто распознать сцену, а понять, что происходит вокруг, связать обстановку с движением и выбрать следующий шаг», — пояснили в компании.
Глава NVIDIA Дженсен Хуанг связал развитие физического ИИ с прогрессом в мультимодальных языковых моделях, компьютерном зрении и моделях мира. По его словам, Cosmos 3 должна помочь разработчикам создавать роботов, беспилотные автомобили и системы визуального ИИ, которые воспринимают окружение, рассуждают, планируют и действуют в реальной среде. Модель выходит в нескольких версиях: Cosmos 3 Super для более точных задач в робототехнике и автономном транспорте и Cosmos 3 Nano для быстрого выполнения запросов.
Вместе с моделью NVIDIA выпустила открытые инструменты и навыки для ИИ-агентов, работающих с физическими задачами. Они разбивают сложную разработку на повторяемые действия и позволяют автоматизировать генерацию данных, симуляцию, обучение, тестирование и развёртывание. Компания видит применение набора в робототехнике, компьютерном зрении, беспилотном транспорте, здравоохранении и промышленных цифровых двойниках.
Особое внимание уделено робототехнике. NVIDIA представила Isaac GR00T Reference Humanoid Robot — открытую эталонную платформу для гуманоидного робота. В неё входят робот Unitree H2 Plus, манипуляторы Sharpa, бортовой вычислитель Jetson Thor и программный стек Isaac GR00T. Платформа собирает аппаратную часть, симуляцию, обучение и развёртывание в одну рабочую основу. Использовать её собираются Ai2, ETH Zurich, Stanford Robotics Center и UC San Diego. Готовая конструкция снимает с лабораторий часть инженерной рутины: не нужно заново подбирать корпус, руки, вычислительный модуль и программную среду. Исследователи смогут быстрее перейти к поведению робота, обучению движений и проверке навыков.
Для автономного транспорта NVIDIA разработала Alpamayo 2 Super — модель рассуждений на 32 млрд параметров, созданную для роботакси. Она должна помогать беспилотным автомобилям понимать дорожную обстановку, планировать движение и реагировать на сложные ситуации.
Отдельный блок анонсов посвящён производству полупроводников. NVIDIA сообщила о расширении сотрудничества с TSMC. Тайваньский производитель использует библиотеки CUDA-X и ИИ-модели NVIDIA для вычислительной литографии, моделирования транзисторов, управления технологическими процессами, инспекции пластин и планирования работы фабрик. По данным NVIDIA, TSMC повысила вычислительную эффективность в этих задачах. «NVIDIA и TSMC почти три десятилетия вместе развивают вычислительные технологии, а теперь ускоренные вычисления и ИИ используют уже внутри фабрик: в проектировании, симуляции, оптимизации и производстве», — отметил Хуанг.
Таким образом, NVIDIA постепенно собирает полный набор инструментов для физического ИИ: от синтетических данных и симуляции до обучения, проверки и запуска в реальных устройствах. Cosmos 3 отвечает за базовую модель, Isaac GR00T — за гуманоидных роботов, агентские инструменты — за автоматизацию разработки, а сотрудничество с TSMC показывает, как те же методы заходят в производство микросхем.
