Model AI na serwerze bez GPU: czy Ollama ruszy na VPS i ile RAM potrzeba

Asystent AI, który odpowiada na pytania o Twoją dokumentację, streszcza zgłoszenia z helpdesku albo podpowiada kod — i działa na Twojej maszynie, a nie w cudzej chmurze rozliczanej za każdy token. Brzmi jak projekt na serwer z drogą kartą graficzną? Niekoniecznie. Małe i średnie modele językowe da się dziś uruchomić na samym procesorze. Trzeba tylko wiedzieć, ile pamięci im dać i czego się po nich spodziewać.

W tym poradniku pokazujemy, jak postawić lokalny model AI na serwerze VPS za pomocą Ollamy, jak dobrać RAM i vCPU oraz w którym momencie warto przesiąść się na serwer dedykowany.

Dlaczego model AI może działać bez GPU

Karta graficzna przyspiesza obliczenia, ale nie jest warunkiem koniecznym. Narzędzia takie jak Ollama (oparta na silniku llama.cpp) uruchamiają modele skwantyzowane — zapisane z mniejszą precyzją, np. 4-bitową zamiast 16-bitowej. Taki model zajmuje kilka razy mniej pamięci i mieści się w zwykłym RAM-ie serwera, a obliczenia wykonuje procesor.

Cena tej wygody to szybkość. Na CPU model generuje odpowiedź wolniej niż na GPU, więc lokalny LLM bez karty graficznej sprawdzi się najlepiej tam, gdzie:

• liczba zapytań jest umiarkowana (wewnętrzne narzędzie, a nie publiczny czat dla tysięcy osób),
• odpowiedzi mogą przyjść w kilka–kilkanaście sekund,
• liczy się prywatność danych i przewidywalny, stały koszt serwera.

Ile RAM i vCPU potrzebuje lokalny model

Najważniejszy parametr to pamięć RAM — cały model musi się w niej zmieścić razem z systemem i kontekstem rozmowy. Orientacyjnie, dla modeli w kwantyzacji 4-bitowej:

• model 1–3B (np. lekkie modele do klasyfikacji i prostych streszczeń) — ok. 2–3 GB RAM na sam model,
• model 7–8B (rozsądny kompromis jakości i szybkości) — ok. 5–6 GB RAM,
• model 13–14B — ok. 9–10 GB RAM,
• większe modele — kilkadziesiąt GB RAM i więcej.

Do tego dolicz zapas na system, aplikację i dłuższy kontekst. Druga sprawa to liczba rdzeni: więcej vCPU oznacza szybsze generowanie tekstu, choć zysk nie rośnie liniowo. Trzecia — szybki dysk. Model trzeba wczytać z dysku do pamięci przy starcie i po każdej zmianie modelu, więc NVMe skraca czekanie.

Jak to przełożyć na konkretną maszynę? W linii VPS NVMe RapidDC każdy serwer działa na wirtualizacji KVM i procesorach AMD EPYC, z dyskiem NVMe (source: rapiddc.pl/serwery-vps-nvme):

• Sonic — 4 vCPU i 8 GB RAM: wystarczy do testów i pracy z modelem 3B lub 7–8B przy niewielkim ruchu,
• Hyper — 8 vCPU i 16 GB RAM: wygodny start dla modelu 7–8B z zapasem albo modelu 13–14B,
• Ultimate — 8 vCPU i 32 GB RAM: miejsce na większy model lub kilka mniejszych równolegle.

Aktualne ceny i kody rabatowe znajdziesz na stronie serwerów VPS oraz w zakładce promocje.

Instalacja Ollamy na VPS krok po kroku

Zakładamy świeży serwer z Linuksem (Debian lub Ubuntu) i dostęp przez SSH — jeśli dopiero zaczynasz, zajrzyj do poradnika jak połączyć się z serwerem VPS przez SSH.

1. Zainstaluj Ollamę oficjalnym skryptem instalacyjnym ze strony projektu. Instalator dodaje usługę systemd, więc Ollama wystartuje sama po restarcie serwera.
2. Pobierz model, np. poleceniem ollama pull z nazwą wybranego modelu w wersji 7–8B. Zacznij od mniejszego — łatwiej ocenić, czy szybkość Ci odpowiada.
3. Przetestuj w terminalu poleceniem ollama run i zadaj kilka pytań typowych dla Twojego zastosowania. Obserwuj zużycie pamięci w htop.
4. Udostępnij API aplikacji. Ollama nasłuchuje domyślnie na porcie 11434 tylko lokalnie. Jeśli aplikacja działa na tym samym serwerze — zostaw tak. Jeśli musi łączyć się z zewnątrz, postaw przed API reverse proxy (np. Nginx) z HTTPS i uwierzytelnianiem.

Bezpieczeństwo: nie wystawiaj API modelu na świat

API Ollamy domyślnie nie ma logowania. Otwarcie portu 11434 dla całego internetu oznacza, że każdy może korzystać z Twojego serwera i zużywać jego moc obliczeniową. Dlatego:

• trzymaj API na localhost albo w sieci prywatnej,
• dostęp z zewnątrz realizuj przez reverse proxy z hasłem lub tokenem albo przez tunel VPN,
• logowanie na serwer ustaw na klucze SSH, a w zaporze zostaw otwarte tylko potrzebne porty.

VPS czy serwer dedykowany pod AI?

VPS to najtańszy sposób, żeby sprawdzić pomysł: uruchamiasz maszynę, testujesz model, a gdy projekt się przyjmie — skalujesz. Gdy jednak model ma pracować cały dzień pod stałym obciążeniem, potrzebujesz bardzo dużo RAM albo wielu rdzeni tylko dla siebie, lepszym wyborem bywa serwer dedykowany. W ofercie serwerów dedykowanych RapidDC linia GOLD oferuje procesory do 48 rdzeni i do 512 GB RAM, a każdy serwer ma konsolę IPMI i ochronę antyDDoS w cenie (source: rapiddc.pl/serwery-dedykowane). Więcej o różnicach przeczytasz we wpisie serwer dedykowany czy VPS.

Czego nie oczekiwać od modelu na CPU

Uczciwie: lokalny model 7–8B nie zastąpi największych modeli chmurowych w złożonym rozumowaniu. Za to świetnie radzi sobie z zadaniami powtarzalnymi — klasyfikacją wiadomości, wyciąganiem danych z tekstu, streszczeniami czy odpowiadaniem na pytania na podstawie Twoich dokumentów. Jeśli od początku dobierzesz model do zadania, a nie zadanie do modelu, serwer bez GPU spokojnie wystarczy.

Podsumowanie

Własny model AI na serwerze to dziś realny projekt nawet bez karty graficznej. Klucz to pamięć RAM dopasowana do rozmiaru modelu, kilka rdzeni procesora i szybki dysk NVMe — plus rozsądne zabezpieczenie API. Zacznij od VPS z 8–16 GB RAM, przetestuj model na prawdziwych danych, a gdy obciążenie urośnie, przenieś projekt na serwer dedykowany. Sprawdź serwery VPS RapidDC i uruchom swój pierwszy lokalny model jeszcze dziś.

FAQ – najczęściej zadawane pytania o model AI na serwerze

Czy do uruchomienia modelu AI na serwerze potrzebuję karty graficznej?

Nie. Skwantyzowane modele uruchamiane przez Ollamę lub llama.cpp działają na samym procesorze. GPU przyspiesza generowanie odpowiedzi, ale do wewnętrznych narzędzi z umiarkowaną liczbą zapytań serwer CPU z odpowiednią ilością RAM w zupełności wystarcza.

Ile RAM potrzebuje model 7B uruchomiony przez Ollamę?

W kwantyzacji 4-bitowej sam model 7–8B zajmuje zwykle około 5–6 GB pamięci. Do tego warto doliczyć zapas na system operacyjny, aplikację i dłuższy kontekst rozmowy, dlatego komfortowe minimum to serwer z 8 GB RAM, a 16 GB daje wyraźny zapas.

Czy mogę udostępnić API Ollamy innym aplikacjom?

Tak, ale nie otwieraj portu 11434 bezpośrednio na świat — API domyślnie nie ma uwierzytelniania. Najbezpieczniej połączyć aplikację lokalnie albo postawić przed API reverse proxy z HTTPS i tokenem lub korzystać z tunelu VPN.

Kiedy zamiast VPS wybrać serwer dedykowany pod model AI?

Gdy model pracuje pod stałym, dużym obciążeniem, potrzebujesz kilkudziesięciu lub kilkuset GB RAM albo wszystkich rdzeni procesora tylko dla siebie. Na start i do testów zwykle wystarczy VPS, a serwer dedykowany to naturalny kolejny krok.

Artykuł powstał z wykorzystaniem narzędzi sztucznej inteligencji (AI) pod nadzorem zespołu RapidDC. Grafika ilustracyjna została wygenerowana przez AI.