====== Proxmox Cluster mit ceph ======



Proxmox auf allen Servern installieren (auf erste ssd ext4)

Proxmox repositories einstellen und updaten

Ceph 10GB Netz erstellen (neue linux bridge) ohne gateway:

{{ :cluster_1.png?600 |}}
Einen Cluster erstellen (Datacenter / Create Cluster):
{{ :cluster_2.png?600 |}}

Den Cluster mit Node 2 betreten (in node 1 auf cluster join information kopieren):
{{ :cluster_3.png?600 |}}
Bei Cluster Network das normale netz eintragen und das root pw des zeilservers eintragen

Als nächstes unter Datacenter / Ceph ceph installieren (auf no subscription repository umstellen)
{{ :cluster_4.png?600 |}}

Unter Configuration auf node1 das normale netz und das seperate Cluster Netz eintragen

BILD


Nun die OSDs auf den leeren SSDs erstellen unter Node1 /Ceph / OSD 
{{ :cluster_5.png?600 |}}

Jetzt erstellen wir den Ceph Pool unter Ceph / Pools :
{{ :cluster_6.png?600 |}}

Jetzt müssen noch 2 zusätzliche ceph Monitore erstellt werden (unter Ceph/Monitors):
{{ :cluster_7.png?600 |}}

Nun müssen nur noch die VMs die auf dem Cluster laufen unter Datacenter / HA eingetragen werden.

Wir haben fertig

====== Node aus cluster löschen ======


Node aus cluster löschen im webinterface

Osds löschen mit ceph osd purge 16 --yes-i-really-mean-it  (Nummer ist ID des OSDs)

Neuen node in den Cluster aufnhemen

Osd erstellen

Mgr erstellen


====== Mirroring auf Cluster einstellen ======


user erstellen auf node1:

ceph auth get-or-create client.rbd-mirror-peer-a mon 'profile rbd' osd 'profile rbd' -o /etc/pve/priv/site-b.client.rbd-mirror-peer-a.keyring

auf node 2 kopieren:

scp /etc/pve/priv/site-b.client.rbd-mirror-peer-a.keyring root@192.168.1.21:/etc/pve/priv/site-a.client.rbd-mirror-peer-a.keyring

User auf node 2 erstellen:

 ceph auth get-or-create client.rbd-mirror.$(hostname) mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/pve/priv/ceph.client.rbd-mirror.$(hostname).keyring

ceph config von node1 auf auf node2 kopieren:

scp /etc/pve/ceph.conf root@192.168.1.21:/etc/pve/site-a.conf

Auf node2:

ln -s /etc/pve/site-a.conf /etc/ceph/site-a.conf

Pool mirror für ceph pool erstellen:

rbd mirror pool enable R3Pool1 pool

node 2:
pool Kommunikation einstellen:

rbd mirror pool peer add <pool> client.rbd-mirror-peer-a@site-a

node2:
rbd mirror installieren

apt install rbd-mirror

Rechte für mirror user an mirroring anpassen:
node2:

systemctl enable ceph-rbd-mirror.target

cp /usr/lib/systemd/system/ceph-rbd-mirror@.service /etc/systemd/system/ceph-rbd-mirror@.service

sed -i -e 's/setuser ceph.*/setuser root --setgroup root/' /etc/systemd/system/ceph-rbd-mirror@.service

systemctl enable --now ceph-rbd-mirror@rbd-mirror.$(hostname).service

journaling aktivieren:

rbd feature enable R3Pool1/vm-100-disk-0 journaling