GPU-сервер для нейросетей: что помещается в 96 ГБ видеопамяти

На одной RTX PRO 6000 Blackwell с 96 ГБ запускается модель на 70B в 8 или 4 битах, любая модель класса 30B в полной точности и gpt-oss-120b. Ниже расчёт, установка и случаи, когда помесячный GPU-сервер брать не стоит.

Что за карта

Во всех наших GPU-серверах (DS-G1, DS-G2, DS-G3) стоит одна NVIDIA RTX PRO 6000 Blackwell Max-Q:

• 96 ГБ GDDR7 с ECC, шина 512 бит, пропускная способность памяти около 1,8 ТБ/с;
• тензорные ядра 5-го поколения с поддержкой FP8 и FP4;
• 300 Вт — это версия Max-Q, сделанная для серверов с несколькими картами;
• MIG: карту можно разделить на четыре изолированных GPU.

Для инференса языковых моделей почти всё решают объём и скорость памяти. Вычислительная мощность при одном пользователе упирается в потолок редко.

Поместится ли модель

Веса занимают примерно число параметров × байт на параметр: 2 байта в FP16/BF16, 1 байт в FP8, около 0,55 байта в 4-битных форматах (AWQ, GPTQ, GGUF Q4). Сверху нужен запас под KV-кэш — он растёт с длиной контекста и числом параллельных запросов. Оставляйте ему 10–25 ГБ.

Размер модели	FP16 / BF16	FP8	4 бита	На 96 ГБ
7–8B	~16 ГБ	~8 ГБ	~5 ГБ	Легко, и много пользователей сразу
14B	~28 ГБ	~14 ГБ	~8 ГБ	Легко
32B	~64 ГБ	~32 ГБ	~18 ГБ	Да, даже в BF16
70–72B	~140 ГБ	~70 ГБ	~40 ГБ	Только FP8 или 4 бита
gpt-oss-120b (MoE)	—	—	~65 ГБ (MXFP4)	Да
200B и больше	—	—	от 110 ГБ	Нет, нужно несколько GPU

70B в FP8 влезает, но на KV-кэш остаётся около 20 ГБ. Этого хватит нескольким пользователям с контекстом 8–16 тысяч токенов. Если нужен длинный контекст или к модели ходит вся команда — берите 4-битную версию. Для чата и RAG разница в качестве небольшая, а запас памяти вырастает до 50 ГБ.

Установка минут за 15

Сервер выдаётся с чистым образом ОС. Сначала поставьте драйвер NVIDIA: Blackwell требует свежую ветку 570+ с открытыми модулями ядра. Перезагрузитесь и проверьте:

nvidia-smi

Быстрее всего попробовать модели через Ollama:

curl -fsSL https://ollama.com/install.sh | sh
ollama run gpt-oss:120b
ollama run llama3.3:70b      # по умолчанию 4 бита, около 43 ГБ

Для API, которым пользуются несколько человек или сервисов, нужен vLLM: он склеивает запросы в батчи и отдаёт OpenAI-совместимый интерфейс.

python3 -m venv ~/vllm && . ~/vllm/bin/activate
pip install vllm
vllm serve Qwen/Qwen2.5-32B-Instruct --max-model-len 16384
# или модель на 72B в 4 битах:
vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ --max-model-len 32768

API слушает порт 8000, путь /v1. Не открывайте его в интернет как есть — авторизации там нет. Спрячьте за nginx с токеном или ходите через SSH-туннель либо WireGuard.

Какой из трёх серверов

Видеокарта везде одна и та же. Разница — в том, что вокруг неё.

• DS-G1 (Intel Core Ultra 7 265, 128 ГБ RAM, 2 × 1,92 ТБ NVMe) — одна модель, один API. Подходит для большинства задач инференса. От $1550 в месяц.
• DS-G2 (Xeon Gold 5412U, 24 ядра, 512 ГБ ECC RAM) — когда GPU лишь часть работы: векторная база в памяти для RAG, выгрузка части модели в оперативку, конвейеры подготовки данных рядом с моделью. От $2900 в месяц.
• DS-G3 (тот же процессор, 768 ГБ RAM, 4 × 3,84 ТБ NVMe) — дообучение на больших датасетах и хранение множества чекпоинтов и версий моделей на локальных дисках. От $3600 в месяц.

Когда это не ваш вариант

Честно посмотрите, как вы будете пользоваться сервером. Выделенный GPU оплачивается помесячно. Если видеокарта нужна на несколько часов в неделю, почасовые облачные GPU обойдутся дешевле. Свой сервер окупается, когда модель работает весь день: боевой API, внутренний ассистент для команды, регулярное дообучение.

И ещё: GPU здесь один. Обучать большую модель с нуля или держать модель на 400B — это задача для нескольких карт с быстрой связью между ними, другой класс железа.

Как заказать

GPU-серверы собираются под заказ. Оставьте заявку с конфигурацией и описанием задачи. Мы подтвердим наличие и итоговую цену, сервер будет готов через 1–3 рабочих дня после предоплаты. Оплата — USDC, USDT, ETH, POL или Monero, как и за VPS.