gpu hakkında rehberler
- Ubuntu veya Debian'a Ollama kurulumu ve yerel LLM çalıştırma Ollama'yı systemd servisi olarak kurun, açık modelleri CPU veya GPU üzerinde indirip çalıştırın, REST API'yi test edin, model depolamasını taşıyın ve 11434 portunu açmadan API'ye güvenle erişin. Başlangıç 30 dk
- NVIDIA GPU sunucusuna Docker ile vLLM kurulumu Bir NVIDIA GPU sunucusunu hazırlayın, vllm/vllm-openai imajını Docker Compose ile 127.0.0.1 üzerinde çalıştırın, API anahtarı ve yalnızca /v1 yolunu açan bir Caddy proxy'siyle koruyun, bellek ve çoklu GPU ayarlarını yapın ya da uv ve systemd ile kurun. İleri 45 dk
- LocalAI'ı Docker Compose ile OpenAI uyumlu bir API olarak kurma LocalAI'ı resmi konteyner imajlarından kurun, her istek için API anahtarı zorunlu kılın, galeriden bir model yükleyin, OpenAI uyumlu API'yi test edin ve Caddy arkasında HTTPS üzerinden yayınlayın. Orta 35 dk
- NVIDIA GPU sunucusuna ComfyUI'ı güvenli şekilde kurma ComfyUI'ı resmi depodan bir GPU sunucusuna kurun, kendi kullanıcısıyla systemd altında çalıştırın, internete açık tutmayın, temel kimlik doğrulamalı HTTPS ekleyin ve modelleri, özel node'ları, yedekleri ve güncellemeleri yönetin. Orta 45 dk