Storage High Availability - Jaki mechanizm replikacji wybrac do sprzętu.

[ox1de 0]

Jest to do zrobienia, każda półka będzie pod kontrolą serwera z 2 procami tyle ze ramu będę musiał dołożyć bo na ta chwile w serwerach kontrolujących półki planowałem 16GB, na tych serwerach w sumie nic nie będzie stało prócz kotroli nad DRBD, NFS i ewentualnym ZFS. Wszystkie wirtualki będą na osobnych maszynach (nie tych podpiętych bezpośrednio "sasem" do półek) po 10Gbitach.

 

Plan ambitny ale do wykonania

 

Bazę dla ERP tez będę witrualizować ale to jak całe środowisko będzie już stało na nogach z tymże nie będę trzymał bazy na półłkach tylko będę chciał zrobić to już na dyskach w serwerach, może w RAID10 tak jak mówisz, cały ten raid passthrough do KVM i tez replika DRBD na 3 inne serwery. Nie wiem czy dobrze to wytłumaczyłem

[Gość Adam Szendzielorz]

Jest to do zrobienia, każda półka będzie pod kontrolą serwera z 2 procami tyle ze ramu będę musiał dołożyć bo na ta chwile w serwerach kontrolujących półki planowałem 16GB,

W G5 siedzą DDR2 PC-5300, 64GB RAM w kościach 4GB bedzie kosztowac jakieś 500-600 pln netto wiec jakis ulamek tego co wydasz na dyski i polki

pozdr.

[Kszysiu 136]

Czemu 4?

no bo raid10 a na tym masz drbd, czyli 2 repliki w raid * 2 repliki w drbd

[ox1de 0]

Z ramami to nie problem, z tym że nie miałem tego wcześniej zaplanowanego w wydatkach

 

W sumie jak będą 3 póki i będą redundantne to tez się zastanawiam czy robić jeszcze mirror na kontrolerze, jak sądzicie ?

[Dentarg 46]

A co chcesz zrobić w kontolerze JBOD?

Raid w konrolerze przede wszystkim ma polepszyć wydajność i elastyczność podsystemu dyskowego, redundancja to DRBD. I ważne, żeby nie zapominać o backupach (czyt. nie mylić raidu z backupem).

[ox1de 0]

no to czyli konfiguracja powinna tak wyglądać?

 

2x48TB Raid0 i z nich redundancja DRBD i jedna półka w "jakimś" raid na backupy.

Edytowano Styczeń 13, 2016 przez ox1de (zobacz historię edycji)

[Dentarg 46]

Na dane tylko Raid10 (ja bym taki użył), ew RAID DP, ale trzeba mieć NetAppa.

Na backup może być RAID6 z jakim(i)ś hot-sparem.

 

A co do wielkości to zależy jakie masz dyski i ile masz portów oraz jakie potrzeby.

[Gość Adam Szendzielorz]

Z ramami to nie problem, z tym że nie miałem tego wcześniej zaplanowanego w wydatkach

Nie bajeruj - na switche 10GbE Cię stać to i na RAMy dołożysz heheh :-)

Jak chcesz na tym używać mimo wszystko jakiegoś defaultowego filesystemu w stylu ext4 to też poszedłbym w RAID10. Nastaw się, że dyski będą padać. Jak padnie Ci jeden dysk w takim RAID0 to tracisz wszystkie dane. Tzn. masz je oczywiście na drugiej macierzy po DRBD ale odtwarzać musisz całość po sieci (co trwa i będzie bardzo stresujące - bo co jak przy odtwarzaniu padnie dowolny dysk po drugiej stronie DRBD? Nieszczęścia chodzą parami, prawo Murphiego etc Przy RAID10 wymieniasz dysk (całość oczywiście działa non stop bez przerw) i w kilkadziesiąt minut macierz sie przebudowuje i odzyskuje w całości pełną wydajność. Tak, jak nigdy nigdzie nie używam RAID5, tak nigdy nigdzie nie używam RAID0

 

Dla przykładu - w klastrze HA złożonym z blisko ~15 serwerów - oprócz RAID10 lub RAID1 mam dodatkowo replikacje DRBD na serwer zapasowy (po jednej sztuce z każdego rodzaju serwera - bazodanowego, plików statycznych i aplikacyjnego), na którym to serwerze zapasowym oczywiście też jest RAID10. Do tego kopia zapasowa na niezależny serwer - na nim już używam RAIDZ z ZFSa, ale generalnie jest też tam odpowiednia nadmiarowość Strzeżonego....

Edytowano Styczeń 13, 2016 przez Adam Szendzielorz (zobacz historię edycji)

[ox1de 0]

Nie bajeruje, tylko nie uwzględniłem tego w kosztach A i tak pokreśliłem że nie będzie to problem, nie mów mi o tych switch-ach, ceny kosmiczne, ale za takie przepustowości się płaci niestety.

No to kwestię konfiguracji mamy załatwioną, DRBD (2 x raid10 48TB) + Raid5 lub 6 48TB na backupy.

[Kszysiu 136]

DRBD a potem raid 10 pod spodem... olałbym taką kombinację i użyłbym glustera dodając każdy dysk jako oddzielny brick, albo np. moosefs'a...

[ox1de 0]

Tez myślałem nad czymś podobnym tyle że opartym o CEPH.

[Kszysiu 136]

cephFS nie jest gotowy produkcyjnie.

[Gość Adam Szendzielorz]

DRBD a potem raid 10 pod spodem... olałbym taką kombinację i użyłbym glustera dodając każdy dysk jako oddzielny brick, albo np. moosefs'a...

Patrząc z dalszej perspektywy na to - to jednak tworzysz znowu single point of failure - jak padnie moosefs, czy gluster to leżysz z wszystkim

 

Mając DRBD - możesz jedną komendą przełączyć całość na drugą, w 100% niezależną macierz. Mając RAID10 na każdej z tych macierzy - masz dodatkowe zabezpieczenie. Oczywiście to jest bardziej kosztowne (pod względem miejsca) ale zdecydowanie pewniejsze rozwiązanie.

 

Skoro zduplikowane i teoretycznie HA macierze mogły paść Microsoftowi, Oktawave, Beyondowi, czy Nazwie - to zakładanie, że mi się to nie przydarzy jest najdelikatniej mówiąc optymistyczne

[mcbarlo 61]

Popieram Adama, RAID10 + DRBD powinien być najmniej awaryjny. Ceph zapowiada się super, ale słyszałem o utratach danych z niego szczególnie na większych macierzach.

[Dentarg 46]

Raid5 nawet nie na backupy, RAID6 ze sparami. Chyba, że ten backup taki ważny nie jest .

[Gość Adam Szendzielorz]

nie mów mi o tych switch-ach, ceny kosmiczne, ale za takie przepustowości się płaci niestety.

Spoko, za 10 lat jak każdy z nas będzie miał w magazynie kilka takich 10GbE przeznaczonych na złom, będziemy się z tego śmiali

 

Dzisiaj przypadkiem wpadła mi w ręce faktura za właśnie ramy PC2-5300 z 2008 roku - 2 x 2GB za 440 pln netto. Dzisiaj można te kostki w hurcie kupić 10 x taniej ehh, postęp...

[ox1de 0]

To czyli DRBD i raid10, najlepszym rozwiązaniem będzie w moim przypadku.

Backup, raid6 chyba wystarczy jak obok będzie DRBD.

 

Zastanawiam sie jeszcze czy kontrolery sas do tych półek 6Gb wystarczą bo takie mam w tej chwili, żeby wąskim gardłem się nie okazały przy sieci 10GE, bo przepustowość sici moge zawsze z większyć (trunk portów) po stronie swicha i kart.

Edytowano Styczeń 13, 2016 przez ox1de (zobacz historię edycji)

[mcbarlo 61]

Prędzej braknie Ci iops.

[ox1de 0]

no tak

No to co czekan na sprzęt i biorę się do roboty

A no i dzięki wszystkim za rozwianie wątpliwości i rady jakie otrzymałem

 

Jak już postawie wszystko na nogi to dam znać jak to "funguje"

Edytowano Styczeń 13, 2016 przez ox1de (zobacz historię edycji)

[Kszysiu 136]

jak padnie moosefs, czy gluster to leżysz z wszystkim

Jeśli chodzi o moosefs - rozumiem, może paść master... Który też da się zreplikować...

 

Co znaczy "padnie gluster"? tak po prostu padnie stuprocentowo rozproszony system?

 

MooseFS mamy u siebie, z jednym masterem - zdarzyło nam się raz czy dwa, że coś mu "odbiło". Oprócz tego mamy tam chyba ze 20 dysków, rozrzuconych po kilku, kilkunastu maszynach, na sieci 1g i to po prostu jest i działa... Jak dysk nie działa, to po prostu "wypada" i po chyba 6h (regulowane) o ile nie włoży się nowego dysku to się odbudowuje się na istniejących.

[Gość Adam Szendzielorz]

Co znaczy "padnie gluster"? tak po prostu padnie stuprocentowo rozproszony system?

No masz rację, wszystko jest oczywiście kwestią doboru konfiguracji - gluster też potrafi robić replikację ALE ja bym mu nie ufał tak, jak sprzetowemu kontrolerowi

 

Pamiętasz pady Oktawave? Oni też mieli rozproszony system plików, dwie oddzielne, niezależne replikowane szafy z danymi i padało

[Kszysiu 136]

Pamiętasz pady Oktawave? Oni też mieli rozproszony system plików, dwie oddzielne, niezależne replikowane szafy z danymi i padało

Nie słyszałem o ich padzie. Ale "dwa" jako cluster mi się nie podoba. Nawet jeśli dwa to ilość szaf a nie serwerów...

 

No masz rację, wszystko jest oczywiście kwestią doboru konfiguracji - gluster też potrafi robić replikację ALE ja bym mu nie ufał tak, jak sprzetowemu kontrolerowi

Mi za to bardziej podoba się używanie dwóch całkowicie niezależnych maszyn niż dwóch kontrolerów, które mają dostęp do tego samego fizycznego dysku/dysków...

 

Jeśli jest coś co przetestowało dużo ludzi, to działa, to po co udziwniać i po co robić z tego cebulkę z 30 warstwami? Jak ma mieć 3 maszyny to zamiast drbd na raidzie użył bym rozproszonego file systemu z replikacją x3... z drbd i tak nie użyje 3 maszyn zbytnio, a o i split brain łatwiej...

[ox1de 0]

Ja bede mial 3 niezalezne maszyny z 3 niezaleznymu polkami. Dlaczego latwiej o split brain i dlaczego nie uzyje 3 maszyn w drbd?

[Kszysiu 136]

drbd = para dwóch maszyn, raid1 po sieci - więc używasz dwóch maszyn - split brain jest możliwy, jeśli dwie maszyny uznają, że są masterami - brak quorum

 

Możesz CHYBA podpiąć to pod pacemakera, który ogarnia 3 serwery w clustrze i nie wystąpi ci raczej split brain, ale i tak nie rozwiąże to problemu, że możesz mieć 2 maszyny w DRBD, koniec kropka... Chyba, że "zestackujesz" drbd. Ale wtedy masz 3 repliki, a do tego raida pod spodem...

[mcbarlo 61]

Czy do jakiegokolwiek quorum nie są potrzebne co najmniej trzy maszyny? Pytam abstrahując od DRBD. Głosowanie przy dwóch maszynach zawsze spowoduje to, że jedna maszyna zagłosuje na drugą żeby ją odpiąć od klastra. Z tego właśnie powodu klaster HA w Proxmoxie jest możliwy od trzech node'ów w górę.