Skocz do zawartości
mcbarlo

Storage oparty na Ceph

Polecane posty

Ceph to bardzo fajny projekt, ale mało jest informacji na jego temat na naszym rodzimym podwórku. Czy wykorzystywaliście ten typ storage u siebie? Jeśli tak to z jakim skutkiem?

 

W szczególności interesuje mnie jego współpraca z Proxmoxem, który od niedawna ma obsługę Ceph przez GUI.

 

Ciekawi mnie też czy ktoś z Was miał już awarie dysku i z powodzeniem przetrwał ją bez utraty danych?

 

Link do strony projektu: http://ceph.com

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Ceph jest bardzo fajny - o ile jest zrobiony z glowa. Ma duzo baboli (kazda wersja) wlacznie z modulem to kernela, ale da sie z tym zyc.

Postawilem juz kilka klastrow od 10TB do kilku PB i moge z reka na sercu go polecic. Co do awarii dyskow - wszystko zalezy od tego ile masz replik, na jakim sprzecie robisz i ile masz szczescia lub pecha - jak w raidzie. Pamietaj, ze dane w Cephu na OSD to zwykly FS (xfs, ext4...) i w razie utraty jedynej repliki - montujac zasob RO, da te dane sie odzyskac. Ceph liczy sumy z kazdej PG, wiec spoko.

 

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Możesz powiedzieć coś więcej na temat robienia storage opartego na Ceph z głową? Na co zwrócić uwagę, a czego unikać?

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Nie stosowałem samemu jeszcze ceph, ale OVH stosuje to rozwiązanie o ile pamiętam w rubabove.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Możesz powiedzieć coś więcej na temat robienia storage opartego na Ceph z głową? Na co zwrócić uwagę, a czego unikać?

 

Jak pisalem - zalezy do czego chcesz go wykorzystac. Znajac zastosowanie, mozna okreslic:

- siec - 1Gbit/10Gbit/40Gbit

- rodzaj dyskow w OSD (SATA, SATA NL, SAS, SSD)

- podzal dyskow SSD dla journala OSD - opcja

 

oraz sam sprzet: wielkosc budy, ilosc dyskow, typ kontrolera RAID0 + write cache lub HBA

 

... itd ... itp

 

do tego dochodzi odpowiednia mapa, ilosc replik, ilosc PG itd itp. i masa innych parametrow.

 

Jedyne co jest stale to: 1GB ramu per proces OSD oraz 1CPU (core) per proces OSD oraz sieciowka minimum 10Gbit.

 

Ogolnie sprawa nie jest trywialna przy duzych instalacjach. Jak chcesz sie pobawic w klaster np. 10TB, mozna go do zabawy zrobic na maszynch 1U i 1Gbit. Przy wiekszych instalacjach i instalacjach produkcyjnych - tylko 10Gbit.

 

Zasada dodatkowo jest taka, ze monitorow nie miesza sie z osd na tej samej maszynie oraz monitorow i osd nie robi sie na wirtualkach. Z czego to wynika? - dlugo by pisac.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Mam storage 64 TB oparty na Open Media Vault. Bardzo toporny, ale działa dobrze. Sprzęt też już jest dość stary, bo to półki NetAppa FC 2 Gbps.

 

Chciałbym storzyć coś nowego w oparciu o Ceph, którym ma zarządzać Proxmox. Ma wsparcie dla Cepha i fajnie byłoby je wykorzystać. Pytanie jakie są konsekwencje posadzienia monitorów i/lub osd na wirtualkach?

 

Co do sprzętu to część SSD i część SATA, ale jako oddzielne przestrzenie. Raczej nie mam zamiaru inwestować w wydumane kontrolery, bo uważam to za zbędny wydatek szczególności w przypadku SSD.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Mam storage 64 TB oparty na Open Media Vault. Bardzo toporny, ale działa dobrze. Sprzęt też już jest dość stary, bo to półki NetAppa FC 2 Gbps.

 

Chciałbym storzyć coś nowego w oparciu o Ceph, którym ma zarządzać Proxmox. Ma wsparcie dla Cepha i fajnie byłoby je wykorzystać. Pytanie jakie są konsekwencje posadzienia monitorów i/lub osd na wirtualkach?

 

Co do sprzętu to część SSD i część SATA, ale jako oddzielne przestrzenie. Raczej nie mam zamiaru inwestować w wydumane kontrolery, bo uważam to za zbędny wydatek szczególności w przypadku SSD.

 

Toporny, ale dziala. Ceph oczywiscie by sie tu sprawdzil, ale bez znajomosci instalacji i dokladnie tego, co chce sie osiagnac wiele powiedziec nie moge.

 

Trzeba natomiast powiedziec jedno - ceph jest obslugowy i dla 64TB nie wiem czy jest sens sie bawic. Jest to na tyle mala przestrzen, ze mozna ogarnac ja 1 polka dyskwa - 45 dyskow i dowolnym raidem, nawet 10.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

No to mnie nie zachęciłeś. OMV odpaliłem i zapomniałem. Za to wcześniej FreeNAS do spółki z ZFS-em dorzucił mi kilka siwych włosów i raczej nie chciałbym powtórki. Jednak Ceph jest na tyle kuszący, że w celach poznawczych na pewno go odpalę.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Ciekawi mnie też czy ktoś z Was miał już awarie dysku i z powodzeniem przetrwał ją bez utraty danych?

 

Testwałem mały klaster z 3 kompów w konfiguracji:

- 1x SSD na Proxmoxa 4 beta2

- 2x HDD 3TB (czyli po 2 OSD na kompa)

- 3 monitory

- osobne sieciówki dla CEPH i dla publicznej sieci

- włączone HA

- nie miałem journalingu na SSD

 

Co testowałem:

- wcyciąganie dysków online z OSD (jeden, dwa, trzy)

- wyciąganie dysków z proxmoxem

- brutalne wyłączanie zasilania jednego, potem dwóch naraz i 3 jednocześnie (kilkadziesiąt razy)

- wyłączanie sieciówek

- konflikty IP

- zamianę kabelków LAN

- rebooty (jednej, dwóch i trzech naraz)

- wywalenie wezła i postawienie na nowo proxmoxa i dołączenie do klastra

 

Nie udało mi się nic uszkodzić wirtualki zawsze wstawały i klaster ostatecznie kończył ze statusem HEALTH OK.

  • Upvote 2

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

To bardzo dobrze. Potrzebuję bardzo podobnego konfiga tylko czekam aż Proxmox 4 się ustabilizuje. Jednak z tego co wiem problemy zaczynają się z Cephem przy macierzach w okolicach kilkuset TB.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
Dnia 24.09.2015 o 08:51, mcbarlo napisał:

To bardzo dobrze. Potrzebuję bardzo podobnego konfiga tylko czekam aż Proxmox 4 się ustabilizuje. Jednak z tego co wiem problemy zaczynają się z Cephem przy macierzach w okolicach kilkuset TB.

Pierwsze słyszę wręcz odwrotnie. Powiedz to cern,ovh, home, 1and1 a oni pewnie mają wiecej danych.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Bądź aktywny! Zaloguj się lub utwórz konto

Tylko zarejestrowani użytkownicy mogą komentować zawartość tej strony

Utwórz konto

Zarejestruj nowe konto, to proste!

Zarejestruj nowe konto

Zaloguj się

Posiadasz własne konto? Użyj go!

Zaloguj się


×