GPU-сервер для нейромереж: що вміщується у 96 ГБ відеопам’яті
На одній RTX PRO 6000 Blackwell із 96 ГБ запускається модель на 70B у 8 або 4 бітах, будь-яка модель класу 30B у повній точності та gpt-oss-120b. Нижче — розрахунок, встановлення й випадки, коли GPU-сервер із помісячною оплатою брати не варто.
Що за карта
У всіх наших GPU-серверах (DS-G1, DS-G2, DS-G3) стоїть одна NVIDIA RTX PRO 6000 Blackwell Max-Q:
- 96 ГБ GDDR7 з ECC, шина 512 біт, пропускна здатність пам’яті близько 1,8 ТБ/с;
- тензорні ядра 5-го покоління з підтримкою FP8 і FP4;
- 300 Вт — це версія Max-Q, створена для серверів із кількома картами;
- MIG: карту можна розділити на чотири ізольовані GPU.
Для інференсу мовних моделей майже все вирішують обсяг і швидкість пам’яті. Обчислювальна потужність за одного користувача впирається в стелю рідко.
Чи вміститься модель
Ваги займають приблизно кількість параметрів × байтів на параметр: 2 байти у FP16/BF16, 1 байт у FP8, близько 0,55 байта в 4-бітних форматах (AWQ, GPTQ, GGUF Q4). Зверху потрібен запас під KV-кеш — він зростає з довжиною контексту й кількістю паралельних запитів. Залишайте йому 10–25 ГБ.
| Розмір моделі | FP16 / BF16 | FP8 | 4 біти | На 96 ГБ |
|---|---|---|---|---|
| 7–8B | ~16 ГБ | ~8 ГБ | ~5 ГБ | Легко, і багато користувачів одночасно |
| 14B | ~28 ГБ | ~14 ГБ | ~8 ГБ | Легко |
| 32B | ~64 ГБ | ~32 ГБ | ~18 ГБ | Так, навіть у BF16 |
| 70–72B | ~140 ГБ | ~70 ГБ | ~40 ГБ | Лише FP8 або 4 біти |
| gpt-oss-120b (MoE) | — | — | ~65 ГБ (MXFP4) | Так |
| 200B і більше | — | — | від 110 ГБ | Ні, потрібно кілька GPU |
70B у FP8 вміщується, але на KV-кеш лишається близько 20 ГБ. Цього вистачить кільком користувачам із контекстом 8–16 тисяч токенів. Якщо потрібен довгий контекст або моделлю користується вся команда — беріть 4-бітну версію. Для чату й RAG різниця в якості невелика, а запас пам’яті зростає до 50 ГБ.
Встановлення хвилин за 15
Сервер видається з чистим образом ОС. Спершу встановіть драйвер NVIDIA: Blackwell потребує свіжої гілки 570+ з відкритими модулями ядра. Перезавантажтеся й перевірте:
nvidia-smi
Найшвидше спробувати моделі через Ollama:
curl -fsSL https://ollama.com/install.sh | sh
ollama run gpt-oss:120b
ollama run llama3.3:70b # за замовчуванням 4 біти, близько 43 ГБ
Для API, яким користуються кілька людей чи сервісів, потрібен vLLM: він об’єднує запити в батчі й надає OpenAI-сумісний інтерфейс.
python3 -m venv ~/vllm && . ~/vllm/bin/activate
pip install vllm
vllm serve Qwen/Qwen2.5-32B-Instruct --max-model-len 16384
# або модель на 72B у 4 бітах:
vllm serve Qwen/Qwen2.5-72B-Instruct-AWQ --max-model-len 32768
API слухає порт 8000, шлях /v1. Не відкривайте його в інтернет як є — авторизації там немає. Сховайте за nginx із токеном або підключайтеся через SSH-тунель чи WireGuard.
Який із трьох серверів
Відеокарта скрізь одна й та сама. Різниця — у тому, що навколо неї.
- DS-G1 (Intel Core Ultra 7 265, 128 ГБ RAM, 2 × 1,92 ТБ NVMe) — одна модель, один API. Підходить для більшості задач інференсу. Від $1550 на місяць.
- DS-G2 (Xeon Gold 5412U, 24 ядра, 512 ГБ ECC RAM) — коли GPU лише частина роботи: векторна база в пам’яті для RAG, вивантаження частини моделі в оперативну пам’ять, конвеєри підготовки даних поруч із моделлю. Від $2900 на місяць.
- DS-G3 (той самий процесор, 768 ГБ RAM, 4 × 3,84 ТБ NVMe) — донавчання на великих датасетах і зберігання багатьох чекпоінтів і версій моделей на локальних дисках. Від $3600 на місяць.
Коли це не ваш варіант
Чесно оцініть, як ви користуватиметеся сервером. Виділений GPU оплачується помісячно. Якщо відеокарта потрібна на кілька годин на тиждень, хмарні GPU з погодинною оплатою обійдуться дешевше. Власний сервер окупається, коли модель працює весь день: бойовий API, внутрішній асистент для команди, регулярне донавчання.
І ще: GPU тут один. Навчати велику модель з нуля чи тримати модель на 400B — це задача для кількох карт зі швидким зв’язком між ними, інший клас заліза.
Як замовити
GPU-сервери збираються під замовлення. Залиште заявку з конфігурацією та описом задачі. Ми підтвердимо наявність і остаточну ціну, сервер буде готовий за 1–3 робочі дні після передоплати. Оплата — USDC, USDT, ETH, POL або Monero, як і за VPS.