Skip to main content

Proxmox Ceph Installation & Konfiguration

🧠 1. Vorbereitung & Anforderungen

Bevor du beginnst, solltest du sicherstellen, dass folgende Voraussetzungen erfüllt sind:

📌 Hardware-Empfehlungen

  • Mindestens 3 physische Proxmox-Nodes für Quorum und Redundanz.

  • Leistungsfähige CPU & genügend RAM (Ceph benötigt insbesondere RAM pro OSD).

  • Netzwerk mit dedizierten Ceph-Verbindungen (z. B. 10 Gbps oder mehr).

  • Direkter Zugriff auf Festplatten (kein RAID) – Ceph arbeitet besser mit HBAs.

💡 Grundidee von Hyper-Converged Infrastructure (HCI): Compute und Storage laufen gemeinsam auf denselben Servern.

🛠 2. Ceph Installation

Du kannst Ceph entweder über die Proxmox-Weboberfläche oder per CLI installieren.

🔹 Installation über Web Wizard (empfohlen)

  1. Öffne die Proxmox Web-GUI.

  2. Wähle einen Cluster-Node aus.

  3. Navigiere zu Ceph → Installieren.

  4. Folge dem Assistenten:
    ➤ Wähle die Ceph-Version
    ➤ Bestätige Installation
    ➤ Setze Netzwerkeinstellungen (Public & optional Cluster Network)

  5. Nach Abschluss wird Ceph installiert und betriebsbereit sein.

👉 Netzwerkeinstellungen:

  • Public Network: Ceph Datenverkehr (z. B. Client/Replication)

  • Cluster Network (optional): Intern für OSD Replikation (empfohlen separat).

🔹 Installation über CLI

Wenn du lieber die Konsole nutzt:

pveceph install

Danach die Erstkonfiguration:

pveceph init --network <CEPH_PUBLIC_NETWORK>/<CIDR>

👉 Dadurch wird /etc/pve/ceph.conf erzeugt und automatisch auf alle Cluster-Nodes verteilt.

🗳 3. Ceph Dienste erstellen

Nach der Installation musst du die wichtigen Ceph-Dienste einrichten:

🪩 Ceph Monitors (MON)

Mindestens 3 Monitore für Quorum und Ausfallsicherheit:

pveceph mon create

oder über GUI: Ceph → Monitor → Create.

📊 Ceph Manager (MGR)

Ein Manager ist wichtig für Cluster-Überwachung:

pveceph mgr create

oder über GUI: Ceph → Manager → Create.

💾 4. OSDs erstellen

Ceph speichert Daten über OSD-Dienste. Empfohlen: 1 OSD pro physischer Festplatte.

🔹 OSD per CLI

pveceph osd create /dev/sdX

âž¡ Ersetze /dev/sdX durch das entsprechende Block-Device.

💡 Falls eine Festplatte vorher schon Ceph-Daten enthält:

ceph-volume lvm zap /dev/sdX --destroy

⚠ Alle Daten auf dem Laufwerk werden gelöscht.

🗃 5. Pool erstellen

Ein Pool ist eine logische Einheit für Ceph-Speicher.

pveceph pool create <pool-name> --add_storages

  • Größe (size): Replicas (Standard: 3)

  • Anzahl der Placement Groups (pg_num): Bestimmt Leistung und Verteilung

Pools erscheinen dann automatisch in der Proxmox-GUI als Speicherziel.

📦 6. Ceph in Proxmox hinzufügen

Nachdem Pools erstellt sind:

  1. In der Proxmox-GUI gehe zu Datacenter → Storage → Add → RBD.

  2. Wähle den Ceph-Pool aus.

  3. Gib die Key-Ring und Mon Host-Informationen an.

âž¡ Proxmox kann dann VM-Disks direkt auf Ceph speichern (RBD).

🪟 7. Optional: CephFS konfigurieren

Wenn du ein verteiltes Dateisystem möchtest:

pveceph mds create
pveceph fs create --pg_num 128 --add-storage

CephFS benötigt mindestens einen MDS.

🧹 8. Wartung & Monitoring

Du kannst den Ceph-Status überwachen:

ceph -s
watch ceph --status

Fehler können z. B. durch Netzwerkprobleme, ausgefallene OSDs oder unzureichende Ressourcen entstehen.

🧠 Tipps aus den Empfehlungen

âž¡ Vermeide RAID-Controller und nutze direkte HBAs.
âž¡ Reserve genug RAM pro OSD (z. B. 1 GiB pro TiB).
➡ Dedizierte Netzwerkschnittstellen für Ceph-Traffic bringen bessere Performance.

Back to top