Yapay zekâ çıkarımı ve eğitimi için GPU sunucular
Büyük dil modellerini, görsel üretimini, ince ayarı ve not defterlerini Ollama, vLLM, ComfyUI veya kendi yığınınıza hazır, tam root erişimli GPU sunucularda çalıştırın. GPU sunucular ürün yelpazemize adım adım ekleniyor: modelleri ve kullanıcı sayısını yazın, neyin ne zaman hazır olacağını size bildirelim.
- Modellerinize ve kullanıcı sayınıza göre boyutlandırılır
- Tam root erişimi, sürücüler ve Docker GPU desteği
- Ollama, vLLM, ComfyUI ve Jupyter’e hazır
- Uygunluk ve fiyat siparişten önce onaylanır
- GPU’larGPU sunucular adım adım ekleniyor; modellerinizi yazın, siparişten önce neyin hazır olduğunu onaylayalım.
- Uygunluğu sorun
- İşletim sistemleriDördü de NVIDIA’nın güncel CUDA araç seti ve veri merkezi sürücü rehberlerince kapsanır.
- Ubuntu 24.04/26.04 LTS, Debian 12/13
- KonteynerlerNVIDIA Container Toolkit, Docker, containerd ve Podman konteynerlerine GPU erişimi verir.
- Docker ile --gpus all
- Erişim
- Tam root erişimi
- Resmi belgeler
- docs.nvidia.com · docs.docker.com
Şunlara hazır
- Ollama
- vLLM
- llama.cpp
- ComfyUI
- PyTorch
- Jupyter
- Docker
- NVIDIA Container Toolkit
Bilgiler projenin resmi web sitesi, belgeleri ve kod deposundan alınmış, Ekim 2026’da kontrol edilmiştir.
GPU sunucular ekleniyor
GPU sunucular ürün yelpazemize adım adım ekleniyor. Çalıştırmayı planladığınız modelleri veya iş yüklerini, kaç kullanıcı beklediğinizi ve tercih ettiğiniz lokasyonu yazın; neyin ne zaman hazır olacağını size bildirelim.
İş yükünüz hakkında bize ne söylemelisiniz
Bir GPU paket adına göre değil, modele göre boyutlandırılır. Bunu belirleyen sorular şunlardır.
| Özellik |
Önerilen Çıkarım
Bir ekip için tek model
|
Ölçekte çıkarım
Daha büyük modeller veya çok kullanıcı
|
Eğitim
İnce ayar ve denemeler
|
|---|---|---|---|
| GPU’lar | Bir GPU | Bir veya daha fazla GPU | Birkaç GPU |
| GPU belleğiTam hız için model, bağlamı ve toplu iş sığmalıdır. | Nicemlenmiş modele yetecek kadar | Daha büyük modeller veya uzun bağlam | Model, gradyanlar ve toplu işler |
| Sistem belleğiİşletim sistemi, veri yükleme ve modelin yanındaki uygulamalar için. | Model dosyalarına yetecek kadar | Paralel istekler için daha fazla | Veri setleri için daha fazla |
| DiskModel dosyaları, veri setleri ve kontrol noktaları için hızlı depolama. | Model dosyaları için NVMe | Modeller ve günlükler için NVMe | Veri setleri ve kontrol noktaları için NVMe |
| Tipik yazılım | Ollama veya llama.cpp | vLLM | Jupyter’de PyTorch |
-
Önerilen
Çıkarım
Bir ekip için tek model
- GPU’lar
- Bir GPU
- GPU belleğiTam hız için model, bağlamı ve toplu iş sığmalıdır.
- Nicemlenmiş modele yetecek kadar
- Sistem belleğiİşletim sistemi, veri yükleme ve modelin yanındaki uygulamalar için.
- Model dosyalarına yetecek kadar
- DiskModel dosyaları, veri setleri ve kontrol noktaları için hızlı depolama.
- Model dosyaları için NVMe
- Tipik yazılım
- Ollama veya llama.cpp
-
Ölçekte çıkarım
Daha büyük modeller veya çok kullanıcı
- GPU’lar
- Bir veya daha fazla GPU
- GPU belleğiTam hız için model, bağlamı ve toplu iş sığmalıdır.
- Daha büyük modeller veya uzun bağlam
- Sistem belleğiİşletim sistemi, veri yükleme ve modelin yanındaki uygulamalar için.
- Paralel istekler için daha fazla
- DiskModel dosyaları, veri setleri ve kontrol noktaları için hızlı depolama.
- Modeller ve günlükler için NVMe
- Tipik yazılım
- vLLM
-
Eğitim
İnce ayar ve denemeler
- GPU’lar
- Birkaç GPU
- GPU belleğiTam hız için model, bağlamı ve toplu iş sığmalıdır.
- Model, gradyanlar ve toplu işler
- Sistem belleğiİşletim sistemi, veri yükleme ve modelin yanındaki uygulamalar için.
- Veri setleri için daha fazla
- DiskModel dosyaları, veri setleri ve kontrol noktaları için hızlı depolama.
- Veri setleri ve kontrol noktaları için NVMe
- Tipik yazılım
- Jupyter’de PyTorch
Bu, talebiniz için bir yol göstericidir, yapılandırma listesi değildir: GPU sunucular ürün yelpazemize adım adım ekleniyor ve hazır oldukça yukarıdaki paketlerde görünür.
Ekipler GPU sunucularda neler çalıştırıyor
GPU’nun dakikaları saniyeye çevirdiği iş yükleri.
LLM çıkarımı
Açık modelleri ekibinize veya ürününüze OpenAI uyumlu bir API arkasında Ollama, vLLM veya llama.cpp ile sunun.
Görsel ve video üretimi
Seçtiğiniz checkpoint’ler ve düğümlerle görsel ve video için ComfyUI iş akışları çalıştırın.
İnce ayar ve araştırma
PyTorch ile kendi verilerinizde modellere JupyterLab’de veya konteynerlerde ince ayar yapın.
Konuşma, gömmeler ve arama
Sesi metne çevirin ve anlamsal arama ile RAG için gömmeleri GPU hızında oluşturun.
Verileriniz sizde kalır
İstemler, dosyalar ve veritabanları paylaşımlı bir SaaS hesabı yerine kontrol ettiğiniz, seçtiğiniz lokasyondaki bir sunucuda kalır.
Tam root erişimi
Uygulamanın ihtiyaç duyduğu her şeyi kurun, her ayarı değiştirin ve yanında başka hizmetler çalıştırın. Hiçbir şey bir panelin arkasına kilitlenmez.
Ekibimizden yardım
Sunucu veya ağ ilgi gerektirdiğinde müşteri panelinden destek talebi açın ve tüm yanıtları tek yerden takip edin.
Android emülatörleri de
Bunun yerine GPU hızlandırmalı Android emülatörleri mi gerekiyor? Android GPU sunucularımıza bakın.
GPU sunucu nasıl alınır
İş yükünü anlatın; ödeme öncesi uygunluğu ve fiyatı onaylayalım.
-
İş yükünüzü anlatın
Hangi modeller veya çerçeveler, kaç kullanıcı veya iş ve kullanıcılarınızın nerede olduğu.
-
Neyin hazır olduğunu öğrenin
İş yükünüz için sunabileceklerimizi, lokasyonu ve aylık fiyatı yanıtlayalım.
-
Sipariş verin ve bağlanın
Ödemeden sonra sunucuyu hazırlar ve giriş bilgilerini e-postayla göndeririz.
-
Yığınınızı kurun
Sürücüyü, CUDA’yı ve NVIDIA Container Toolkit’i, ardından rehberlerimizle Ollama, vLLM veya ComfyUI’ı kurun.
Adım adım kurulum rehberleri
Uygulamayı güncel Ubuntu ve Debian sürümleri için yazılmış rehberlerimizle kurun, güvenceye alın ve güncelleyin.
-
Ubuntu veya Debian'a Ollama kurulumu ve yerel LLM çalıştırma
Ollama'yı systemd servisi olarak kurun, açık modelleri CPU veya GPU üzerinde indirip çalıştırın, REST API'yi test edin, model depolamasını taşıyın ve 11434 portunu açmadan API'ye güvenle erişin.
30 dk Başlangıç -
NVIDIA GPU sunucusuna Docker ile vLLM kurulumu
Bir NVIDIA GPU sunucusunu hazırlayın, vllm/vllm-openai imajını Docker Compose ile 127.0.0.1 üzerinde çalıştırın, API anahtarı ve yalnızca /v1 yolunu açan bir Caddy proxy'siyle koruyun, bellek ve çoklu GPU ayarlarını yapın ya da uv ve systemd ile kurun.
45 dk İleri -
NVIDIA GPU sunucusuna ComfyUI'ı güvenli şekilde kurma
ComfyUI'ı resmi depodan bir GPU sunucusuna kurun, kendi kullanıcısıyla systemd altında çalıştırın, internete açık tutmayın, temel kimlik doğrulamalı HTTPS ekleyin ve modelleri, özel node'ları, yedekleri ve güncellemeleri yönetin.
45 dk Orta
İlgili çözümler
Sıkça sorulan sorular
Hangi GPU sunucuları sunuyorsunuz?
GPU sunucular ürün yelpazemize adım adım ekleniyor. Ne çalıştırmak istediğinizi yazın; siparişten önce neyin hazır olduğunu, GPU belleğini, lokasyonu ve fiyatı size bildirelim. Yeni GPU paketleri yayına girdikçe bu sayfada görünür.
Modelim ne kadar GPU belleği ister?
Tam hız için model ağırlıkları, bağlam ve toplu iş sığmalıdır. Nicemlenmiş modeller tam hassasiyetli olanlardan çok daha az bellek ister, uzun bağlamlar daha fazlasını ister. Kullanmayı planladığınız modelleri ve bağlam uzunluklarını yazın, sunucuyu onlara göre boyutlandıralım.
Hangi sürücüler ve CUDA sürümleri destekleniyor?
NVIDIA GPU’lar için veri merkezi sürücüsünü ve CUDA araç setini NVIDIA’nın depolarından kurun. NVIDIA’nın güncel rehberleri Ubuntu 22.04, 24.04 ve 26.04 LTS ile Debian 12 ve 13’ü kapsar; bu sürümlerden birini seçin.
GPU’yu Docker içinde kullanabilir miyim?
Evet. NVIDIA sürücüsü ve NVIDIA Container Toolkit kuruluyken konteynerleri --gpus all veya eşdeğer Compose ayarıyla başlatın; Ollama, vLLM ve Open WebUI’ın CUDA derlemeleri gibi imajlar GPU’yu kullanır.
Yapay zekâ araçlarının kendi GPU gereksinimleri var mı?
Evet. Ollama, hesaplama yeteneği 5.0 veya üzeri ve 550 ya da daha yeni sürücülü NVIDIA GPU’ları ve ROCm üzerinden AMD GPU’ları destekler. vLLM, hesaplama yeteneği 7.5 veya üzeri NVIDIA GPU’lar ya da desteklenen AMD ve Intel GPU’lar ister. Siparişten önce bunu modellerinize göre kontrol ederiz.
Önce GPU olmadan model çalıştırabilir miyim?
Evet. Küçük nicemlenmiş modeller, yeterli belleğe sahip bir CPU sunucuda Ollama veya llama.cpp ile çalışır; bu, bugün başlamanın ve kurulumunuzu denemenin iyi bir yoludur.
Root erişimi alır mıyım?
Evet. Sürücüleri, çerçeveleri ve kendi yazılımınızı kurmak için tam root erişimi alırsınız; sunucu veya ağ ilgi gerektirdiğinde ekibimiz destek talebi üzerinden yardımcı olur.
Android emülatörleri için GPU sunucu sunuyor musunuz?
Bu ayrı bir seridir: Android GPU sunucularımız LDPlayer emülatörü için hazırlanmış Windows 11 sunuculardır; nasıl hazırlandıkları için o sayfaya bakın.
Ne çalıştırmak istediğinizi anlatın
Modelleri, kullanıcı sayısını ve lokasyonu gönderin; neyin hazır olduğunu ve fiyatını size bildirelim.