NVIDIA TESLA V100 32GB

NVIDIA TESLA V100 32GB оснащен 5120 ядрами CUDA и 640 тензорными ядрами в архитектуре Volta с памятью HBM2. Применяется для самых требовательных задач искусственного интеллекта, включая тренировку больших языковых моделей и научные расчеты в области молекулярной динамики.

V100 отлично справляется с квантизированными моделями размера 13B-32B. Например, Qwen3 32B в 4-битной квантизации будет работать со скоростью около 35 токенов/сек. Модели размером около 30B можно запускать с контекстом до 70K токенов, что очень впечатляет. Для сравнения, 14B модель в 4-битной квантизации на A100 показывает около 61 токен/сек, а на V100 — около 35 токенов/сек. Более крупные модели, например, Falcon 40B, с трудом, но возможно запустить в 4-битном формате, занимая около 20 ГБ. Также V100 отлично подходит для ускоренной тренировки моделей компьютерного зрения (например, ResNet) и обработки естественного языка (например, BERT), где, как утверждается, прирост производительности в 6 раз по сравнению с предыдущим поколением. Также она способна генерировать изображения с помощью Stable Diffusion.