GPU-serverite võrdlus: mida enne rentimist kontrollida
Võrdle servereid videomälu ja ressursside tasakaalu järgi — valmis konfiguratsioonid Tesla P4-ga alates 249 €/kuus, suuremad tellimuse järgi
Vali GPU-server
GPU-servereid võrreldes on peamine näitaja videomälu: mudel ja partii peavad sinna tervikuna ära mahtuma, muidu seisab kaart jõude. Teine on tasakaal: nõrk protsessor, mälu nappus või aeglane ketas pidurdavad ka kiiret GPU-d, sest andmed ei jõua kaardini. Kolmas on koormuse tüüp: treenimine vajab mälu ja läbilaskevõimet, mudeli käitamine pigem paralleelseid päringuid, renderdamine aga mootori tuge. Meil on valmis konfiguratsioonid NVIDIA Tesla P4-ga alates 249 €/kuus, ja kui ülesanne nõuab võimsamat kaarti, koostame konfiguratsiooni ja hinna eraldi.
Paketid
Valmis GPU-serverid
TITAN-3 — Tesla P4 ja 256 GB muutmälu mudelite käitamiseks, transkodeerimiseks ja pildigenereerimiseks; TITAN-5 — kaks kaarti ja 512 GB mälu paralleelsete konveierite jaoks. Pühendatud serverid: tasumine ette, server antakse üle pärast makse kinnitamist. Kui vajad võimsamat kaarti, kirjelda ülesanne ja koostame konfiguratsiooni.
Rohkem GPU-serveritestTITAN-3 · GPU
| NVIDIA Tesla P4 · 8 GB |
| AMD EPYC 7452 · 32C/64T |
| 256 GB RAM |
| 3 TB NVMe + SSD + 18 TB HDD |
| Pühendatud server · IPMI |
| Tugi 24/7 |
TITAN-5 · 2× GPU
| 2× Tesla P4 · 16 GB VRAM |
| AMD EPYC 7663 · 56C/112T |
| 512 GB RAM |
| 8,7 TB NVMe + 960 GB SSD |
| Pühendatud server · IPMI |
| Tugi 24/7 |
Mis loeb sõltuvalt ülesandest
Millele GPU-pakkumisi võrreldes esimesena vaadata.
| Ülesanne | Kriitiline eelkõige | Sageli ununeb | |
|---|---|---|---|
| Võrgu treenimine nullist | Videomälu maht ja läbilaskevõime | Muutmälu partiide laadimiseks ja NVMe andmestikule | |
| Peenhäälestus ja LoRA | VRAM kaaludele ja optimeerijale | Ruum iga epohhi kontrollpunktidele | |
| Mudeli käitamine toodangus | Paralleelsed päringud kaardi kohta | Protsessor tokeniseerimiseks ja järjekorraks | |
| Pildigenereerimine | VRAM resolutsiooni ja partii jaoks | Ketas mudelitele ja tulemustele | |
| 3D-renderdamine GPU-l | Sinu mootori tugi ja VRAM-i maht | Stseenide ja tekstuuride ülekande kiirus | |
| Video transkodeerimine | Kaardi riistvaralised koodekid | Võrk ja ketas lähtefailide jaoks |
Tabel on abivahend turul olevate pakkumiste võrdlemiseks, mitte meie pakettide loend. Konkreetne kaart, VRAM-i maht ja hind valitakse sinu ülesande järgi: kirjelda mudel ja andmemaht.
Esmalt videomälu
Mudel, partii ja aktivatsioonid peavad VRAM-i ära mahtuma. Kui ei mahu, arvutus kas ei käivitu või jookseb saalimisega ja kaotab mõtte.
Seejärel tasakaal
GPU avab end alles siis, kui vCPU-d, mälu ja kiiret NVMe-d andmestike all on piisavalt — muidu ootab kaart andmeid.
Ja täielik ligipääs
Root-ligipääs ja KVM-konsool: paigalda omaenda draiverid, CUDA ja raamistikud — TensorFlow, PyTorch, renderdusmootorid — oma konveieri jaoks.
Kuidas GPU-serverit tellida
Kolm sammu — ülesande kirjeldusest töötava serverini.
Kirjelda ülesanne
Räägi, mida arvutad — treenimine, peenhäälestus, mudeli käitamine või renderdamine — millise mudeliga ja kui suure andmemahuga.
Vali valmis kooste või oma
Kui Tesla P4-st piisab, võta hinnakirjast TITAN-3 või TITAN-5. Kui vajad võimsamat kaarti, valime konfiguratsiooni ja anname just sellele koostele hinna.
Tasu ja saa server
Pühendatud server antakse üle pärast tasumist ja masina ettevalmistust. Kui valikus kahtled, kontrollime konfiguratsiooni sinu ülesande vastu juba enne tellimist.
Aitame konfiguratsiooni kokku panna
Kirjelda mudel, partii suurus ja andmestiku maht — pakume koostet ja anname hinna. Kui ülesanne mahub 8–16 GB VRAM-i sisse, on valmis TITAN-3 ja TITAN-5 Tesla P4-ga soodsam valik; kõige muu jaoks paneme kokku konfiguratsiooni võimsama kaardiga.
Osa tööst ei vaja GPU-d üldse: andmete ettevalmistus, klassikaline masinõpe ja väikeste mudelite käitamine jooksevad protsessoril — vaata, millist serverit masinõpe vajab, ja pakette lehel AI/ML VPS.
Vali GPU-serverKorduma kippuvad küsimused
Ei leidnud vastust?
Kirjuta meile kontaktilehe vormi kaudu.
Valmis konfiguratsioonides on NVIDIA Tesla P4 8 GB mäluga: üks TITAN-3-s, kaks TITAN-5-s. Kui sellest ei piisa, koostame võimsama kaardiga konfiguratsiooni eraldi.
Valmis konfiguratsioonid algavad 249 €/kuus (TITAN-3: Tesla P4, 256 GB mälu). Teise kaardiga kooste hind antakse eraldi: see sõltub GPU mudelist, VRAM-ist ja baasressurssidest.
Nii palju, et mudel, partii ja aktivatsioonid mahuksid tervikuna ära. Kvantiseeritud mudelite käitamine vajab märgatavalt vähem kui nullist treenimine — aitame arvutada.
Kõigepealt VRAM-i mahu järgi oma mudeli vastu, seejärel vCPU, mälu ja ketta kiiruse tasakaalu järgi. Kaart ilma andmeteta seisab jõude, seega ainuüksi GPU mudel ei ütle midagi.
Videokaardi poolest, mis võtab enda peale maatriksarvutused: närvivõrkude treenimine ja käitamine, renderdamine, transkodeerimine. Kõik muu — OS, root-ligipääs, ketas — töötab samamoodi.
Jah. Sul on root-ligipääs ja KVM-konsool: paigalda omaenda draiverid, CUDA ja raamistikud — PyTorch, TensorFlow või renderdusmootor — oma konveieri jaoks.
Prooviaega ei ole: pühendatud server tasutakse ette. Kirjelda enne tellimist mudel ja andmemaht — aitame hinnata, kas VRAM ja ressursid on piisavad.
Andmete ettevalmistus, klassikaline masinõpe ja väikeste mudelite käitamine jooksevad rahulikult protsessoril. Sellised konfiguratsioonid on lehel millist serverit masinõpe vajab.