Proxmox auf allen Servern installieren (auf erste ssd ext4)

Proxmox repositories einstellen und updaten

Ceph 10GB Netz erstellen (neue linux bridge) ohne gateway:

Einen Cluster erstellen (Datacenter / Create Cluster):

Den Cluster mit Node 2 betreten (in node 1 auf cluster join information kopieren): Bei Cluster Network das normale netz eintragen und das root pw des zeilservers eintragen

Als nächstes unter Datacenter / Ceph ceph installieren (auf no subscription repository umstellen)

Unter Configuration auf node1 das normale netz und das seperate Cluster Netz eintragen

BILD

Nun die OSDs auf den leeren SSDs erstellen unter Node1 /Ceph / OSD

Jetzt erstellen wir den Ceph Pool unter Ceph / Pools :

Jetzt müssen noch 2 zusätzliche ceph Monitore erstellt werden (unter Ceph/Monitors):

Nun müssen nur noch die VMs die auf dem Cluster laufen unter Datacenter / HA eingetragen werden.

Wir haben fertig

Node aus cluster löschen im webinterface

Osds löschen mit ceph osd purge 16 –yes-i-really-mean-it (Nummer ist ID des OSDs)

Neuen node in den Cluster aufnhemen

Osd erstellen

Mgr erstellen

user erstellen auf node1:

ceph auth get-or-create client.rbd-mirror-peer-a mon 'profile rbd' osd 'profile rbd' -o /etc/pve/priv/site-b.client.rbd-mirror-peer-a.keyring

auf node 2 kopieren:

scp /etc/pve/priv/site-b.client.rbd-mirror-peer-a.keyring root@192.168.1.21:/etc/pve/priv/site-a.client.rbd-mirror-peer-a.keyring

User auf node 2 erstellen:

ceph auth get-or-create client.rbd-mirror.$(hostname) mon 'profile rbd-mirror' osd 'profile rbd' -o /etc/pve/priv/ceph.client.rbd-mirror.$(hostname).keyring

ceph config von node1 auf auf node2 kopieren:

scp /etc/pve/ceph.conf root@192.168.1.21:/etc/pve/site-a.conf

Auf node2:

ln -s /etc/pve/site-a.conf /etc/ceph/site-a.conf

Pool mirror für ceph pool erstellen:

rbd mirror pool enable R3Pool1 pool

node 2: pool Kommunikation einstellen:

rbd mirror pool peer add <pool> client.rbd-mirror-peer-a@site-a

node2: rbd mirror installieren

apt install rbd-mirror

Rechte für mirror user an mirroring anpassen: node2:

systemctl enable ceph-rbd-mirror.target

cp /usr/lib/systemd/system/ceph-rbd-mirror@.service /etc/systemd/system/ceph-rbd-mirror@.service

sed -i -e 's/setuser ceph.*/setuser root –setgroup root/' /etc/systemd/system/ceph-rbd-mirror@.service

systemctl enable –now ceph-rbd-mirror@rbd-mirror.$(hostname).service

journaling aktivieren:

rbd feature enable R3Pool1/vm-100-disk-0 journaling