Серверы для LLM
Клиенты чаще всего выбирают
Заказать сервер для LLM
Что необходимо для сервера LLM?
| Модель | VRAM (GPU) | CPU | RAM | Пример GPU |
|---|---|---|---|---|
| 7B (4-bit) | 6-12 GB | 8+ ядер | 32 GB | NVIDIA RTX 3090 |
| 13B (FP16) | 24 GB | 16+ ядер | 64 GB | NVIDIA A10G |
| 70B (FP16) | 80 GB | 32+ ядер | 128 GB | NVIDIA H100 80GB |
Готовые серверные решения для LLM
Dell PowerEdge для LLM
Для инференса (7B-70B моделей, подходит под: LLaMA-2 70B (4-bit), Mixtral 8x7B): Dell PowerEdge R760xa / 2× Intel Xeon Gold 6430 (32 ядра) / 2× NVIDIA L40S (48 GB) / RAM: 256 GB DDR5
Для обучения (большие модели, например GPT-3.5-подобных моделей): Dell PowerEdge XE9640 / 2× AMD EPYC 9654 (96 ядер) / 4× NVIDIA H100 80GB (SXM5) / RAM: 1 TB DDR5
HPE ProLiant для LLM
Бюджетный вариант (7B-13B, Mistral 7B, LLaMA-2 13B): HPE ProLiant DL380 Gen11 / CPU: 2× Intel Xeon Silver 4410Y (24 ядра) / GPU: 2× NVIDIA RTX 4090 (24 GB) / RAM: 128 GB DDR5
Мощный кластер (70B+, Falcon 180B): HPE Apollo 6500 Gen10 Plus / 2× AMD EPYC 9554 (64 ядра) / 8× NVIDIA A100 80GB / RAM: 512 GB DDR5
Huawei для LLM
Оптимизированный сервер (13B-70B, Yi-34B, Qwen): Huawei Atlas 800T A2 / 2× Kunpeng 920 (64 ядер) / 8× Ascend 910B (32 GB) / RAM: 512 GB DDR4
Высокопроизводительный сервер (для обучения больших моделей): Huawei FusionServer 5885H V6 / 2× Intel Xeon Platinum 8380 (80 ядер) / 4× NVIDIA H800 (80 GB) / RAM: 1 TB DDR4