RTX im Keller: Wann sich der eigene KI-Server für Berliner Büros rechnet

Vonadmin
Dieser Beitrag wurde mit KI-Unterstützung erstellt. Redaktionell verantwortlich: Manthey EDV-Beratung.

Im März hat eine Steuerkanzlei in Charlottenburg 3.200 Euro für Cloud-KI-Dienste gezahlt. Im selben Monat hat ein Physiotherapeut in Neukölln seinen eigenen RTX-Server für 4.500 Euro aufgebaut – und spart seitdem 800 Euro pro Monat. Der Unterschied? Der eine zahlt Miete, der andere besitzt die Hardware. Aber nicht jeder braucht einen eigenen Server. Hier steht, wann es sich lohnt.

Was ein RTX-Server wirklich kann – und was nicht

Ein RTX 4090 mit 24 GB VRAM schafft etwa 1.000 Token pro Sekunde bei lokaler LLM-Inferenz (z. B. Llama 3 8B). Zum Vergleich: Ein mittelgroßer Cloud-Anbieter liefert 50-100 Token/s für 0,50-1,50 Euro pro Stunde. Der eigene Server rechnet sich ab etwa 200 Stunden Nutzung pro Monat – wenn man die Hardware selbst betreibt.

Aber: Nicht alles läuft lokal schneller. VoiceAI-Modelle wie Whisper Large brauchen zwar GPU-Beschleunigung, aber für einfache PDF-Verarbeitung (z. B. Rechnungsextraktion) reicht oft eine CPU. Hier ein realistischer Vergleich:

  • Lokal (RTX 4090): 1.000 Token/s, 0,12 Euro/Stunde Stromkosten, keine Latenz
  • Cloud (A100): 300 Token/s, 1,20 Euro/Stunde, 50-200 ms Latenz
  • Cloud (T4): 50 Token/s, 0,30 Euro/Stunde, 100-300 ms Latenz

Der Knackpunkt: Die Cloud skaliert besser. Wer mal 10.000 Seiten PDF verarbeiten muss, zahlt in der Cloud vielleicht 200 Euro – lokal bräuchte man dafür 10 Stunden Rechenzeit. Aber wer täglich 50 Rechnungen extrahiert, spart mit dem eigenen Server schnell 500 Euro im Monat.

Die versteckten Kosten: Strom, Kühlung, Wartung

Ein RTX 4090 zieht unter Last etwa 450 Watt. Bei 0,35 Euro/kWh kostet das 3,80 Euro pro Tag – wenn der Server 24/7 läuft. Dazu kommen:

  • Kühlung: Ein zusätzlicher Raumventilator oder eine kleine Klimaanlage (200-400 Watt) schlägt mit 1,50-3,00 Euro/Tag zu Buche.
  • Wartung: Einmal im Jahr Staub entfernen, Lüfter tauschen (50 Euro), Betriebssystem-Updates (1 Stunde/Monat).
  • Ausfallrisiko: Wenn die Grafikkarte kaputt geht, steht der Server 3-5 Tage. Wer kritische Prozesse darauf laufen lässt, braucht einen Backup-Plan.

Realistisch kostet ein eigener Server also etwa 150-200 Euro pro Monat – wenn man ihn voll auslastet. Wer nur 50 Stunden im Monat KI-Dienste nutzt, fährt mit der Cloud günstiger. Aber wer 200+ Stunden braucht, spart mit dem Eigenbau.

Wann der eigene Server Sinn macht – und wann nicht

Ein Berliner Zahnarzt hat im April 2024 einen RTX-Server für seine Praxis aufgebaut. Er nutzt ihn für:

  • Spracherkennung (VoiceAI) für Behandlungsprotokolle (4 Stunden/Tag)
  • Rechnungsextraktion aus PDFs (200 Seiten/Monat)
  • KI-Chatbot für Patientenanfragen (100 Anfragen/Tag)

Vorher hat er 1.200 Euro/Monat für Cloud-Dienste gezahlt. Jetzt zahlt er 180 Euro Strom und 50 Euro Wartung – macht 230 Euro. Die Hardware (4.500 Euro) hat sich nach 4 Monaten amortisiert.

Ein Gegenbeispiel: Eine kleine Marketingagentur in Friedrichshain nutzt KI nur für gelegentliche Texterstellung (20 Stunden/Monat). Für sie lohnt sich der eigene Server nicht – die Cloud ist hier günstiger und flexibler.

Faustregel: Wer mehr als 150 Stunden pro Monat KI-Dienste nutzt und sensible Daten verarbeitet (z. B. Patientendaten, Mandantenakten), sollte über einen eigenen Server nachdenken. Wer weniger als 50 Stunden braucht oder keine Datenschutzbedenken hat, bleibt besser in der Cloud.

Wie man einen RTX-Server für unter 5.000 Euro baut

Wer sich für den Eigenbau entscheidet, braucht keine High-End-Hardware. Hier eine bewährte Konfiguration aus eigenen Implementierungen:

  • Grafikkarte: RTX 4090 (2.000-2.500 Euro) – oder zwei RTX 4070 Ti (je 1.000 Euro) für mehr VRAM
  • Prozessor: AMD Ryzen 7 7800X3D (400 Euro) – effizient, aber leistungsstark genug für CPU-Aufgaben
  • Arbeitsspeicher: 64 GB DDR5 (150 Euro) – reicht für die meisten LLMs und VoiceAI-Modelle
  • Festplatte: 2 TB NVMe SSD (150 Euro) – für schnellen Zugriff auf Modelle und Daten
  • Netzteil: 1000 Watt (150 Euro) – für stabile Stromversorgung
  • Gehäuse: Großes Tower-Gehäuse mit guter Belüftung (100 Euro)

Gesamtkosten: 4.000-4.500 Euro. Wer sparen will, kann auf gebrauchte Hardware setzen (z. B. RTX 3090 für 1.000 Euro), muss dann aber mit geringerer Leistung leben.

Software-Tipp: Mit Ollama oder LM Studio lassen sich LLMs lokal betreiben – ohne komplizierte Einrichtung. Für VoiceAI reicht oft Whisper.cpp mit GPU-Beschleunigung. Wer mehr Kontrolle braucht, kann vLLM oder TensorRT-LLM nutzen.

Drei Fragen, die Sie sich stellen sollten, bevor Sie kaufen

1. Wie viele Stunden pro Monat nutzen Sie KI-Dienste?
– Unter 50 Stunden: Cloud ist günstiger.
– 50-150 Stunden: Hybridlösung (Cloud + lokal) könnte sinnvoll sein.
– Über 150 Stunden: Eigenbau rechnet sich.

2. Verarbeiten Sie sensible Daten?
– Ja: Lokal ist sicherer und oft günstiger.
– Nein: Cloud bietet mehr Flexibilität.

3. Haben Sie jemanden, der den Server wartet?
– Ja: Eigenbau ist machbar.
– Nein: Cloud oder Managed Service ist die bessere Wahl.

Fazit: Ein eigener RTX-Server ist kein Allheilmittel, aber für Berliner Kanzleien, Praxen und Agenturen mit hohem KI-Bedarf eine lohnende Investition. Wer die Hardware selbst betreibt, spart nicht nur Geld, sondern behält auch die Kontrolle über seine Daten. Wer unsicher ist, kann mit einer günstigen RTX 4060 (500 Euro) starten und später aufrüsten.

Ähnliche Beiträge