Proxmox Ceph Installation & Konfiguration

1. Vorbereitung & Anforderungen 
 Bevor du beginnst, solltest du sicherstellen, dass folgende Voraussetzungen erfüllt sind: 
 📌 Hardware-Empfehlungen 
 
 Mindestens 3 physische Proxmox-Nodes für Quorum und Redundanz. 
 Leistungsfähige CPU & genügend RAM (Ceph benötigt insbesondere RAM pro OSD). 
 Netzwerk mit dedizierten Ceph-Verbindungen (z. B. 10 Gbps oder mehr). 
 Direkter Zugriff auf Festplatten (kein RAID) – Ceph arbeitet besser mit HBAs. 
 
 💡 Grundidee von Hyper-Converged Infrastructure (HCI) : Compute und Storage laufen gemeinsam auf denselben Servern. 
 
 2. Ceph Installation 
 Du kannst Ceph entweder über die Proxmox-Weboberfläche oder per CLI installieren. 
 🔹 Installation über Web Wizard (empfohlen) 
 
 
 Öffne die Proxmox Web-GUI. 
 
 
 Wähle einen Cluster-Node aus. 
 
 
 Navigiere zu Ceph → Installieren . 
 
 
 Folge dem Assistenten: 
 ➤ Wähle die Ceph-Version 
 ➤ Bestätige Installation 
 ➤ Setze Netzwerkeinstellungen (Public & optional Cluster Network) 
 
 
 Nach Abschluss wird Ceph installiert und betriebsbereit sein. 
 
 
 Netzwerkeinstellungen: 
 
 Public Network: Ceph Datenverkehr (z. B. Client/Replication) 
 Cluster Network (optional): Intern für OSD Replikation (empfohlen separat). 
 
 
 🔹 Installation über CLI 
 Wenn du lieber die Konsole nutzt: 
 pveceph install
 
 Danach die Erstkonfiguration: 
 pveceph init--network <CEPH_PUBLIC_NETWORK>/<CIDR>
 
 Dadurch wird /etc/pve/ceph.conf erzeugt und automatisch auf alle Cluster-Nodes verteilt. 
 
 3. Ceph Dienste erstellen 
 Nach der Installation musst du die wichtigen Ceph-Dienste einrichten: 
 Ceph Monitors (MON) 
 Mindestens 3 Monitore für Quorum und Ausfallsicherheit: 
 pveceph mon create
 
 oder über GUI: Ceph → Monitor → Create . 
 Ceph Manager (MGR) 
 Ein Manager ist wichtig für Cluster-Überwachung: 
 pveceph mgr create
 
 oder über GUI: Ceph → Manager → Create . 
 
 4. OSDs erstellen 
 Ceph speichert Daten über OSD-Dienste. Empfohlen: 1 OSD pro physischer Festplatte . 
 🔹 OSD per CLI 
 pveceph osd create /dev/sdX
 
 → Ersetze /dev/sdX durch das entsprechende Block-Device. 
 💡 Falls eine Festplatte vorher schon Ceph-Daten enthält: 
 ceph-volume lvm zap /dev/sdX--destroy
 
 ⚠ Alle Daten auf dem Laufwerk werden gelöscht. 
 
 5. Pool erstellen 
 Ein Pool ist eine logische Einheit für Ceph-Speicher. 
 pveceph pool create <pool-name>--add_storages
 
 
 Größe ( size ): Replicas (Standard: 3) 
 Anzahl der Placement Groups ( pg_num ): Bestimmt Leistung und Verteilung 
 
 Pools erscheinen dann automatisch in der Proxmox-GUI als Speicherziel. 
 
 6. Ceph in Proxmox hinzufügen 
 Nachdem Pools erstellt sind: 
 
 In der Proxmox-GUI gehe zu Datacenter → Storage → Add → RBD . 
 Wähle den Ceph-Pool aus. 
 Gib die Key-Ring und Mon Host-Informationen an. 
 
 → Proxmox kann dann VM-Disks direkt auf Ceph speichern (RBD). 
 
 7. Optional: CephFS konfigurieren 
 Wenn du ein verteiltes Dateisystem möchtest: 
 pveceph mds create
pveceph fs create--pg_num128--add-storage
 
 CephFS benötigt mindestens einen MDS. 
 
 8. Wartung & Monitoring 
 Du kannst den Ceph-Status überwachen: 
 ceph-s
watch ceph--status
 
 Fehler können z. B. durch Netzwerkprobleme, ausgefallene OSDs oder unzureichende Ressourcen entstehen. 
 
 Tipps aus den Empfehlungen 
 → Vermeide RAID-Controller und nutze direkte HBAs. 
 → Reserve genug RAM pro OSD (z. B. 1 GiB pro TiB). 
 → Dedizierte Netzwerkschnittstellen für Ceph-Traffic bringen bessere Performance.