Домашний суперкомпьютер Nvidia Project Digits
На выставке CES 2025 компания Nvidia анонсировала свой первый персональный суперкомпьютер с искусственным интеллектом: Project Digits. Digits ориентирован на разработчиков и специалистов по обработке данных, которые ищут недорогую и доступную аппаратную и программную платформу для управления жизненным циклом генеративных моделей искусственного интеллекта. В Digits есть все необходимое для создания комплексного генеративного решения искусственного интеллекта: от вывода до точной настройки и разработки агентов.
Nvidia Project Digits представляет собой компактное устройство по цене от 3000 долларов США, оснащенное инновационным суперчипом Nvidia GB10 Grace Blackwell, обещающим производительность на уровне 1 петафлопса!!! Это дает разработчикам возможность создавать прототипы, настраивать и выполнять масштабные модели ИИ локально. Секрет производительности в переходе к FP4 вычислениям, хотя это и снижает точность каждого отдельного вычисления.
Аппаратные характеристики: мощный искусственный интеллект на настольном компьютере
В основе Digits лежит суперчип Nvidia GB10 Grace Blackwell, чудо инженерной мысли, сочетающее в себе мощный графический процессор Blackwell и 20-ядерный процессор Grace. Эти два мощных устройства соединены между собой с помощью технологии NVLink-C2C, высокоскоростного межкристального соединения, которое обеспечивает быструю передачу данных между GPU и CPU. Думайте об этом как о супермагистрали, соединяющей два шумных города, обеспечивающей беспрепятственное и эффективное сообщение. Эта тесная интеграция имеет решающее значение для впечатляющей производительности Digits, позволяя ей быстро и эффективно решать сложные задачи искусственного интеллекта.
Основные характеристики:
- Графический процессор Blackwell: включает ядра CUDA и тензорные ядра пятого поколения для ускорения вычислений ИИ.
- Процессор Nvidia Grace: имеет 20 энергоэффективных ядер Arm, дополняющих графический процессор для сбалансированных рабочих нагрузок искусственного интеллекта.
- Соединение NVLink-C2C: обеспечивает соединение с высокой пропускной способностью и малой задержкой между графическим процессором и процессором для эффективной передачи данных.
- 128 ГБ объединенной памяти: общий пул памяти для ЦП и ГП, исключающий копирование данных и ускоряющий обработку.
- Высокоскоростное хранилище NVMe: обеспечивает быстрый доступ к данным для обучения и выполнения моделей искусственного интеллекта.
- Производительность ИИ: 1 петафлопс: справляется со сложными задачами ИИ и большими моделями ИИ.
- Энергоэффективная конструкция: работает от стандартной розетки.
Digits также может похвастаться впечатляющими 128 ГБ унифицированной памяти. Это означает, что процессор и графический процессор используют один и тот же пул памяти, что устраняет необходимость копирования данных туда и обратно и значительно ускоряет обработку. Это особенно полезно для рабочих нагрузок ИИ, которые часто включают большие наборы данных и сложные вычисления.
Совместимость системы с широко используемыми фреймворками и инструментами искусственного интеллекта, такими как PyTorch, Python и Jupyter Notebooks, позволяет разработчикам использовать знакомые среды для разработки моделей и экспериментов. Кроме того, он поддерживает фреймворк Nvidia NeMo, который обеспечивает тонкую настройку больших языковых моделей, и библиотеки RAPIDS, которые ускоряют рабочие процессы науки о данных.
С точки зрения подключения и масштабируемости Project Digits использует сетевое взаимодействие Nvidia ConnectX, что обеспечивает высокоскоростную передачу данных и эффективную связь между системами. Эта функция позволяет соединить два блока Project Digits, эффективно удваивая возможности обработки моделей с 405 миллиардами параметров. Такая масштабируемость гарантирует, что по мере роста сложных моделей ИИ Project Digits сможет адаптироваться для удовлетворения растущих вычислительных потребностей.
Перенося мощь суперкомпьютера ИИ на настольный компьютер, Digits удовлетворяет растущую потребность в большей производительности ИИ в компактном и доступном форм-факторе. Это позволяет отдельным лицам и небольшим группам решать сложные задачи ИИ, не полагаясь на дорогие вычислительные ресурсы облака или крупномасштабную инфраструктуру суперкомпьютеров.
Потенциальные варианты использования Digits обширны и разнообразны. Разработчики могут использовать его для прототипирования новых приложений ИИ, тонкой настройки LLM для конкретных задач, создания контента на основе ИИ и исследования новых алгоритмов и архитектур ИИ. Возможность локально запускать большие модели ИИ открывает новые возможности для разработки ИИ, позволяя быстрее проводить итерации и эксперименты.
Ожидается, что Nvidia Digits будет доступен в мае у Nvidia и ее партнеров по стартовой цене $3000. Такая конкурентоспособная цена делает его жизнеспособным вариантом для более широкого круга пользователей, что еще больше способствует упрощению разработки ИИ.
