GPU-сервер в аренду: видеопамять, совместимость и бюджет

Опишите задачу до выбора ускорителя

Для модели машинного обучения зафиксируйте размер, точность вычислений, длину входа и режим — обучение или выполнение запросов. Для рендеринга проверьте движок и совместимые устройства. Одна программа может использовать несколько GPU, другая — только один.

Видеопамять нескольких карт не складывается автоматически в единое пространство для любой задачи. Уточните поддержку распределения в вашем программном стеке.

Сколько VRAM нужно модели: пример расчёта

Для первого приближения умножьте число параметров на размер одного веса. Условная модель с ровно 7 млрд параметров потребует около 13,0 GiB только под веса FP16/BF16: 7 000 000 000 × 2 / 1024³. Для FP32 получится около 26,1 GiB, для идеальной упаковки в 4 бита — около 3,3 GiB. GiB здесь означает 1 073 741 824 байта.

Это нижняя оценка: к ней добавляются служебные данные квантования, временные тензоры и память среды выполнения. При генерации текста нужен ещё KV-кеш. Квантование весов не означает, что кеш тоже хранится в 4 битах; проверьте его формат отдельно. Для обучения дополнительно учитываются активации, градиенты и состояние оптимизатора — расчёт инференса для него недостаточен.

Для обычного полного внимания без сжатия приблизительный размер KV-кеша в байтах можно оценить так:

2 × число слоёв × число KV-голов × размер головы × число токенов × размер элемента × число последовательностей.

Условная архитектура с 32 слоями, 8 KV-головами и размером головы 128 при 4096 токенах, двухбайтовом кеше и одной последовательности даст 512 MiB. При восьми одновременно обрабатываемых последовательностях — 4 GiB только под этот кеш. Число токенов включает вход и уже сгенерированный ответ. Параметры архитектуры берите из конфигурации конкретной модели: число KV-голов может отличаться от числа голов внимания.

Статический кеш может резервировать память под максимальную длину заранее; скользящее внимание и специальные архитектуры меняют расчёт. Поэтому сумма весов и кеша помогает отсеять слишком маленькие GPU, но окончательный выбор требует запуска вашего стека с нужным контекстом и параллельностью.

Как провести сравнимый тест GPU

1. Зафиксируйте модель и её версию, точность весов, формат кеша, версии библиотек и драйвера. Используйте один набор входных данных на всех кандидатах.
2. Для LLM задайте обычную и максимальную длину входа, число выходных токенов и ожидаемое количество параллельных запросов. Начните с одного запроса, затем повторите целевую нагрузку.
3. Отдельно измерьте загрузку модели и прогрев. После прогрева запишите время до первого токена, скорость генерации, полное время ответа и потребление VRAM. Для рендеринга используйте одну сцену и разрешение; для генерации изображений — один pipeline, число шагов и размер изображения.
4. Повторите сценарий несколько раз и сохраните разброс времени, ошибки нехватки памяти и загрузку CPU/диска. nvidia-smi позволяет наблюдать память и загрузку NVIDIA GPU; редкий опрос может пропустить краткий пик, поэтому дополните его метриками своего фреймворка.
5. Проверьте худший предусмотренный режим: длинный контекст, несколько запросов или сохранение контрольной точки. Оставьте запас сверх измеренного пика для колебаний нагрузки и роста задачи.

Если веса помещаются, но запрос завершается с ошибкой памяти, проверьте длину контекста, параллельность и временные буферы. Если GPU простаивает, измерьте подачу данных с CPU и диска. Датасеты и контрольные точки удобно планировать отдельно: сравните облачное хранилище с локальным диском по времени загрузки вашей задачи.

Проверьте окружение и данные

Проверьте, предоставляется ли целый GPU или его доля, какой объём памяти доступен процессу и поддерживается ли нужный runtime. Для нескольких ускорителей уточните способ распределения модели и межсоединение: второй GPU сам по себе не решает нехватку памяти одной неразделяемой задачи.

Учтите стоимость вне вычислений

Уточните, какие ресурсы оплачиваются после остановки машины: диски, IP и хранилище могут учитываться отдельно. Проверьте правила остановки, удаления и сохранения данных.

Храните результаты и контрольные точки отдельно от временного экземпляра. Рассчитайте бюджет как стоимость теста, основных запусков, хранения и передачи данных. Для повторяемого запуска сохраните версии окружения и параметры задачи, чтобы не тратить время аренды на повторную настройку.

При почасовой оплате сравнивайте оплачиваемое время × тариф + хранение + передача данных. Используйте правила округления поставщика и включайте загрузку модели, прогрев и сохранение результата. Для пакетной работы полезна стоимость одной завершённой задачи; для сервиса с постоянной готовностью учитывайте также часы ожидания запросов.

Если требуется сочетать GPU с другими сервисами, изучите облачную платформу ; для постоянной нагрузки сравните условия аренды выделенного сервера .

Облачный GPU или отдельный физический сервер

Облачную машину удобно сравнивать для отдельных экспериментов и изменяющегося объёма задач. Физический сервер стоит рассмотреть при длительной нагрузке и требованиях к конкретной конфигурации. Фактическую модель оплаты, квоты и доступность ускорителя проверяйте перед запуском.

Как сравнивать A100, H100, L40S и RTX

Название ускорителя — начало проверки, а не готовая рекомендация. Для предложений с A100, H100, L40S или RTX 4090 уточняйте конкретное исполнение, объём VRAM, доступ к устройству и поддержку нужного стека. Упоминание модели здесь не подтверждает её наличие у провайдера.

Сравните стоимость одинаковой завершённой задачи: более дорогой час может оказаться выгоднее при меньшем времени выполнения. Для постоянного инференса дополнительно учитывайте периоды простоя и требования к доступности. Результаты теста на другой модели или другом разрешении нельзя переносить на свой сценарий без проверки.

В каталоге Selectel представлены направления облачных и выделенных GPU-серверов; конфигурацию выбирайте по текущему предложению. Сохранение датасетов и результатов спланируйте вместе с облачным хранилищем .