GPU serverių palyginimas: ką patikrinti prieš nuomą
Palyginkite serverius pagal vaizdo atmintį ir išteklių balansą — paruoštos konfigūracijos su Tesla P4 nuo 249 €/mėn., didesnės pagal užsakymą
Parinkti GPU serverį
Lyginant GPU serverius pagrindinis rodiklis yra vaizdo atmintis: modelis ir paketas turi tilpti į ją visi, kitaip plokštė stovi be darbo. Antras — balansas: silpnas procesorius, atminties trūkumas ar lėtas diskas pristabdo net greitą GPU, nes duomenys nespėja jos pasiekti. Trečias — darbo tipas: mokymui reikia atminties ir pralaidumo, modelio vykdymui — lygiagrečių užklausų, o vaizdavimui — variklio palaikymo. Mes siūlome paruoštas konfigūracijas su NVIDIA Tesla P4 nuo 249 €/mėn., o užduotims, kurioms reikia galingesnės plokštės, konfigūraciją ir kainą pateikiame individualiai.
Planai
Paruošti GPU serveriai
TITAN-3 — Tesla P4 su 256 GB atminties modelių vykdymui, transkodavimui ir vaizdų generavimui; TITAN-5 — dvi plokštės ir 512 GB atminties lygiagretiems konvejeriams. Skirtiniai serveriai: mokėjimas iš anksto, serveris perduodamas patvirtinus apmokėjimą. Reikia galingesnės plokštės — aprašykite užduotį ir surinksime konfigūraciją.
Plačiau apie GPU serveriusTITAN-3 · GPU
| NVIDIA Tesla P4 · 8 GB |
| AMD EPYC 7452 · 32C/64T |
| 256 GB RAM |
| 3 TB NVMe + SSD + 18 TB HDD |
| Skirtinis serveris · IPMI |
| Pagalba 24/7 |
TITAN-5 · 2× GPU
| 2× Tesla P4 · 16 GB VRAM |
| AMD EPYC 7663 · 56C/112T |
| 512 GB RAM |
| 8,7 TB NVMe + 960 GB SSD |
| Skirtinis serveris · IPMI |
| Pagalba 24/7 |
Kas svarbu priklausomai nuo užduoties
Į ką pirmiausia žiūrėti lyginant pasiūlymus su GPU.
| Užduotis | Kritiška visų pirma | Dažnai pamirštama | |
|---|---|---|---|
| Tinklo mokymas nuo nulio | Vaizdo atminties kiekis ir pralaidumas | Atmintis paketams krauti ir NVMe duomenų rinkiniui | |
| Pritaikymas ir LoRA | VRAM svoriams ir optimizatoriui | Vieta kiekvienos epochos kontroliniams taškams | |
| Modelio vykdymas gamyboje | Lygiagrečios užklausos vienai plokštei | Procesorius tokenizacijai ir eilei | |
| Vaizdų generavimas | VRAM raiškai ir paketui | Diskas modeliams ir rezultatams | |
| 3D vaizdavimas GPU | Jūsų variklio palaikymas ir VRAM kiekis | Scenų ir tekstūrų perdavimo greitis | |
| Vaizdo transkodavimas | Aparatiniai plokštės kodekai | Tinklas ir diskas pirminiams failams |
Lentelė yra atskaitos taškas rinkos pasiūlymams palyginti, o ne mūsų planų sąrašas. Konkreti plokštė, VRAM kiekis ir kaina parenkami pagal jūsų užduotį: aprašykite modelį ir duomenų kiekį.
Pirmiausia vaizdo atmintis
Modelis, paketas ir aktyvacijos turi telpti į VRAM. Jei netelpa, skaičiavimas arba nepasileidžia, arba sukasi su iškrovimu į diską ir praranda prasmę.
Paskui balansas
GPU atsiskleidžia tik tada, kai užtenka vCPU, atminties ir greito NVMe po duomenų rinkiniais — kitaip plokštė laukia duomenų.
Ir visiška prieiga
Root prieiga ir KVM konsolė: diekite savo tvarkykles, CUDA ir karkasus — TensorFlow, PyTorch, vaizdavimo variklius — pagal savo konvejerį.
Kaip užsisakyti GPU serverį
Trys žingsniai — nuo užduoties aprašymo iki veikiančio serverio.
Aprašykite užduotį
Papasakokite, ką skaičiuojate — mokymas, pritaikymas, modelio vykdymas ar vaizdavimas — su kokiu modeliu ir kiek duomenų.
Rinkitės paruoštą ar savą
Jei Tesla P4 pakanka — imkite TITAN-3 arba TITAN-5 iš kainoraščio. Reikia galingesnės plokštės — parinksime konfigūraciją ir pateiksime kainą būtent tam surinkimui.
Apmokėkite ir gaukite serverį
Skirtinis serveris perduodamas po apmokėjimo ir mašinos paruošimo. Jei abejojate pasirinkimu — patikrinsime konfigūraciją pagal jūsų užduotį dar prieš užsakymą.
Padėsime surinkti konfigūraciją
Aprašykite modelį, paketo dydį ir duomenų rinkinio kiekį — pasiūlysime surinkimą ir pateiksime kainą. Jei užduotis telpa į 8–16 GB VRAM, paruošti TITAN-3 ir TITAN-5 su Tesla P4 yra naudingesnis pasirinkimas; visiems kitiems atvejams surenkame konfigūraciją su galingesne plokšte.
Daliai darbų GPU visai nereikia: duomenų paruošimas, klasikinis mašininis mokymasis ir nedidelių modelių vykdymas sukasi procesoriumi — žiūrėkite, kokio serverio reikia mašininiam mokymuisi, ir planus puslapyje VPS dirbtiniam intelektui.
Parinkti GPU serverįDažnai užduodami klausimai
Neradote atsakymo?
Parašykite mums per kontaktų puslapio formą.
Paruoštose konfigūracijose naudojama NVIDIA Tesla P4 su 8 GB: viena TITAN-3, dvi TITAN-5. Kai to nepakanka, konfigūraciją su galingesne plokšte surenkame individualiai.
Paruoštos konfigūracijos prasideda nuo 249 €/mėn. (TITAN-3: Tesla P4, 256 GB atminties). Surinkimas su kita plokšte kainuojamas individualiai: kaina priklauso nuo GPU modelio, VRAM ir bazinių išteklių.
Tiek, kad modelis, paketas ir aktyvacijos tilptų visi. Kvantuotų modelių vykdymui reikia pastebimai mažiau nei mokymui nuo nulio — padėsime suskaičiuoti.
Pirmiausia pagal VRAM kiekį jūsų modeliui, paskui pagal vCPU, atminties ir disko greičio balansą. Plokštė be duomenų stovi be darbo, todėl vien GPU modelis nieko nepasako.
Vaizdo plokšte, kuri perima matricinius skaičiavimus: neuroninių tinklų mokymą ir vykdymą, vaizdavimą, transkodavimą. Visa kita — OS, root prieiga, diskas — veikia taip pat.
Taip. Turite root prieigą ir KVM konsolę: diekite savo tvarkykles, CUDA ir karkasus — PyTorch, TensorFlow ar vaizdavimo variklį — pagal savo konvejerį.
Bandomojo laikotarpio nėra: skirtinis serveris apmokamas iš anksto. Prieš užsakymą aprašykite modelį ir duomenų kiekį — padėsime įvertinti, ar VRAM ir išteklių pakaks.
Duomenų paruošimas, klasikinis mašininis mokymasis ir nedidelių modelių vykdymas ramiai sukasi procesoriumi. Tokios konfigūracijos aprašytos puslapyje kokio serverio reikia mašininiam mokymuisi.