GPU-сервер для штучного інтелекту: як підібрати конфігурацію під свої задачі
Коли команда починає регулярно працювати з нейромережами, хмарні GPU швидко стають помітною статтею витрат, а передача внутрішніх документів стороннім сервісам — питанням безпеки. Власний сервер вирішує обидві проблеми, але лише за умови, що конфігурація підібрана під реальне навантаження.
Ті, хто шукає сервери з gpu в Києві для АІ, найчастіше починають з відеокарти. Проте в AI-системі важить баланс: відеопам'ять, процесор, оперативна пам'ять, живлення та охолодження. Нижче — як розрахувати кожен параметр.
Відеопам'ять визначає, яку модель ви запустите
Головне обмеження для мовних моделей — обсяг VRAM, а не швидкість ядер. Орієнтовний розрахунок для інференсу:
- У форматі FP16 кожен мільярд параметрів займає близько 2 ГБ: модель на 8B потребує приблизно 16 ГБ.
- Після квантизації до 4 біт — близько 0,5–0,6 ГБ на мільярд: модель на 70B вміщується приблизно в 40 ГБ.
- Додайте 10–20% на контекст: що довші запити й більше одночасних користувачів, то більше пам'яті з'їдає KV-кеш.
Повне донавчання вимагає в рази більше пам'яті, ніж запуск. Для більшості бізнес-задач достатньо LoRA або QLoRA, які працюють на одній-двох картах.
Типові сценарії та конфігурації
- Корпоративний асистент на внутрішніх документах для 10–30 співробітників: одна карта на 32–48 ГБ і модель розміром 8–30B.
- Генерація зображень і відео: від 24 ГБ VRAM, причому швидкість самого GPU тут важить більше, ніж у текстових моделей.
- Відеоаналітика й комп'ютерний зір: кілька карт середнього класу, кожна обробляє власну групу потоків з камер.
Саме від сценарію відштовхуються в Artline, коли підбирають AI-сервер: спершу задача й кількість користувачів, потім залізо.
Споживчі чи професійні відеокарти
RTX 5090 з 32 ГБ дає найкраще співвідношення ціни й продуктивності для невеликих команд, але займає три слоти й споживає до 575 Вт. Професійні L40S з 48 ГБ чи RTX PRO 6000 з 96 ГБ дорожчі, проте розраховані на цілодобову роботу в стійці та дозволяють запускати великі моделі на одній карті без розподілу між кількома.
Платформа: процесор, пам'ять, накопичувачі
Для двох і більше відеокарт потрібна серверна платформа на кшталт AMD EPYC або Intel Xeon: лише вона дає достатньо ліній PCIe, щоб кожна карта працювала в режимі x16. Оперативної пам'яті беріть щонайменше вдвічі більше за сумарну VRAM — у неї завантажуються моделі та датасети. Під дані ставте NVMe-накопичувачі: із повільного диска велика модель вантажиться хвилинами.
У каталозі Artline є як готові AI-конфігурації, так і сервери, які збирають під конкретну модель і кількість користувачів.
Живлення та розміщення
Сервер із чотирма потужними GPU під навантаженням споживає понад 2 кВт, тож йому потрібен резервований блок живлення, окрема лінія та ДБЖ на час відключень. Він гучний і виділяє багато тепла, тому місце йому в серверній чи технічному приміщенні з вентиляцією, а не в офісі поруч із робочими місцями.
Перевага локального виробника — сервіс: Artline тестує сервери під навантаженням перед відвантаженням, а в київському сервісному центрі обладнання можна обслуговувати без пересилання за кордон.
Поширені питання
Чи вистачить однієї RTX 5090 для локальної мовної моделі?
Так, для моделей до 30B параметрів у 4-бітній квантизації. Моделі на 70B у 32 ГБ уже не вміщуються, для них потрібні дві карти або професійна GPU з більшою пам'яттю.
Чи складається пам'ять двох відеокарт?
Для фреймворків, що вміють розподіляти модель між GPU, як-от vLLM чи llama.cpp, — так. Звичайні програми, розраховані на одну карту, використають лише одну з них.
Яку операційну систему ставити на AI-сервер?
Найчастіше Ubuntu Server: під неї найкраще підтримуються драйвери NVIDIA, CUDA та Docker-контейнери з готовими AI-інструментами.
Коли власний сервер вигідніший за хмару?
Коли GPU завантажені щодня по кілька годин і більше. За епізодичних експериментів дешевше орендувати потужність у хмарі погодинно.
Чи можна згодом додати відеокарти?
Так, якщо одразу закласти запас: вільні слоти PCIe, блок живлення з резервом потужності та корпус з достатнім охолодженням. Інакше апгрейд обернеться заміною половини компонентів.
