Proxmox Ceph Installation & Konfiguration

🧠 1. Vorbereitung & Anforderungen

Bevor du beginnst, solltest du sicherstellen, dass folgende Voraussetzungen erfüllt sind:

📌 Hardware-Empfehlungen

• Mindestens 3 physische Proxmox-Nodes für Quorum und Redundanz.

• Leistungsfähige CPU & genügend RAM (Ceph benötigt insbesondere RAM pro OSD).

• Netzwerk mit dedizierten Ceph-Verbindungen (z. B. 10 Gbps oder mehr).

• Direkter Zugriff auf Festplatten (kein RAID) – Ceph arbeitet besser mit HBAs.

💡 Grundidee von Hyper-Converged Infrastructure (HCI): Compute und Storage laufen gemeinsam auf denselben Servern.

🛠 2. Ceph Installation

Du kannst Ceph entweder über die Proxmox-Weboberfläche oder per CLI installieren.

🔹 Installation über Web Wizard (empfohlen)

1. Öffne die Proxmox Web-GUI.

2. Wähle einen Cluster-Node aus.

3. Navigiere zu Ceph → Installieren.

4. Folge dem Assistenten:
   

   ➤ Wähle die Ceph-Version
   

   ➤ Bestätige Installation
   

   ➤ Setze Netzwerkeinstellungen (Public & optional Cluster Network)

5. Nach Abschluss wird Ceph installiert und betriebsbereit sein.

👉 Netzwerkeinstellungen:

• Public Network: Ceph Datenverkehr (z. B. Client/Replication)

• Cluster Network (optional): Intern für OSD Replikation (empfohlen separat).

🔹 Installation über CLI

Wenn du lieber die Konsole nutzt:

pveceph install

Danach die Erstkonfiguration:

pveceph init -init--network <CEPH_PUBLIC_NETWORK>/<CIDR>

👉 Dadurch wird /etc/pve/ceph.conf erzeugt und automatisch auf alle Cluster-Nodes verteilt.

🗳 3. Ceph Dienste erstellen

Nach der Installation musst du die wichtigen Ceph-Dienste einrichten:

🪩 Ceph Monitors (MON)

Mindestens 3 Monitore für Quorum und Ausfallsicherheit:

pveceph mon create

oder über GUI: Ceph → Monitor → Create.

📊 Ceph Manager (MGR)

Ein Manager ist wichtig für Cluster-Überwachung:

pveceph mgr create

oder über GUI: Ceph → Manager → Create.

💾 4. OSDs erstellen

Ceph speichert Daten über OSD-Dienste. Empfohlen: 1 OSD pro physischer Festplatte.

🔹 OSD per CLI

pveceph osd create /dev/sdX

➡→ Ersetze /dev/sdX durch das entsprechende Block-Device.

💡 Falls eine Festplatte vorher schon Ceph-Daten enthält:

ceph-volume lvm zap /dev/sdX -sdX--destroy

⚠ Alle Daten auf dem Laufwerk werden gelöscht.

🗃 5. Pool erstellen

Ein Pool ist eine logische Einheit für Ceph-Speicher.

pveceph pool create <pool-name> --add_storages

• Größe (size): Replicas (Standard: 3)

• Anzahl der Placement Groups (pg_num): Bestimmt Leistung und Verteilung

Pools erscheinen dann automatisch in der Proxmox-GUI als Speicherziel.

📦 6. Ceph in Proxmox hinzufügen

Nachdem Pools erstellt sind:

1. In der Proxmox-GUI gehe zu Datacenter → Storage → Add → RBD.

2. Wähle den Ceph-Pool aus.

3. Gib die Key-Ring und Mon Host-Informationen an.

➡→ Proxmox kann dann VM-Disks direkt auf Ceph speichern (RBD).

🪟 7. Optional: CephFS konfigurieren

Wenn du ein verteiltes Dateisystem möchtest:

pveceph mds create

pveceph fs create create---pg_num 128 -pg_num128--add-storage

CephFS benötigt mindestens einen MDS.

🧹 8. Wartung & Monitoring

Du kannst den Ceph-Status überwachen:

ceph-s

Fehler können z. B. durch Netzwerkprobleme, ausgefallene OSDs oder unzureichende Ressourcen entstehen.

🧠 Tipps aus den Empfehlungen

➡→ Vermeide RAID-Controller und nutze direkte HBAs.

→ Reserve genug RAM pro OSD (z. B. 1 GiB pro TiB).

→ Dedizierte Netzwerkschnittstellen für Ceph-Traffic bringen bessere Performance.