Skocz do zawartości

Web Hosting Talk

  • arubacloud.pl

    Partner technologiczny

    Aruba Cloud jest marką usług cloud na rynku europejskim. Została stworzona w celu dostarczenia firmom kompleksowych rozwiązań Cloud niezależnie od ich planów i projektów.

 

Zdjęcie

Macierz dyskowa - sprzętowa czy programowa?

Macierz dyskowa - sprzętowa czy programowa?

  • Proszę się zalogować aby odpowiedzieć
38 odpowiedzi na ten temat

Macierz dyskowa - sprzętowa czy programowa?

#1 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 16 kwiecień 2017 - 08:53

Zastanawiam się nad doborem systemu storage'owego dla kilkunastu serwerów. W związku z tym, że dyski w każdym serwerze osobno to często marnacja miejsca chciałbym to jakoś skonsolidować. Techonologia jaką chce łączyć dyski z serwerami to fibre channel. 

 

Na rynku jest sporo tzw. sprzętowych macierzy choć bardziej bym je nazwał zamkniętymi. Oczywiście lista ficzerów jest imponująca nawet dla prostrzych modeli takich jak Lenovo S3200. Mam jednak dylemat w przypadku takich rozwiązań, bo na pewno jest pięknie jak wszystko działa, ale co jak zaczną się problemy? Na wsparcie producenta tak do końca nie liczę, a materiałów w sieci jest niewiele. Przez zamkniętość jest też niewielkie pole manewru. Dodatkowo spore koszty zakupu + konieczność korzystania z dysków z nalepką co jeszcze zwiększa koszty.

 

Przy rozwiązaniu typu zwykły serwer + linux panuje w 100% nad wszystkim, ale trzeba sporo wysiłku żeby to wszystko poskładać do kupy. Są też gotowce typu FreeNAS lub OpenMediaValult, które wyglądają bardzo obiecująco. Pytanie tylko jak bardzo dopracowany i stabilny jest SCST czy inne targety dla FC w Linuxie i BSD? Cała reszta nie odbiega znacząco od konfiguracji lokalnych dysków. Czy ewentualnie postawić na Cepha zamiast ZFS-a czy software RAID-a?

 

Jeśli macie doświedczenie z powyższymi rozwiązaniami w praktyce to bardzo proszę o opinie.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#2 behemoth

behemoth

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 1188 postów
  • Skąd:Łódź
  • Firma:swhosting.pl
  • Imię:Jakub

Napisany 16 kwiecień 2017 - 21:12

Ceph na jednym nodzie? To raczej mija się z jego założeniami ;)
  • 0

SWHosting.pl - Hosting klasy biznes

Blutu.pl - Budżetowy hosting z płatnością smsem i przelewem.


#3 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 16 kwiecień 2017 - 21:19

Nigdzie nie napisałem, że to ma być jeden node. Choć masz rację, Ceph lepiej się sprawdzi jak będzie rozproszony po node'ach obliczeniowych. Choć wtedy zamiast systemu typu blade do obliczeń + macierz trzeba skorzystać z wieloramkowych serwerów w obudowach 2U+ co może zająć więcej miejsca i zjeść więcej prądu. Co nie oznacza, że inwestycja będzie sporo tańsza i właśnie to może skompensować nieco wyższe koszty utrzymania. Wtedy też odpada cała zabawa z FC, bo wystarczy 10GE.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#4 behemoth

behemoth

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 1188 postów
  • Skąd:Łódź
  • Firma:swhosting.pl
  • Imię:Jakub

Napisany 16 kwiecień 2017 - 22:41

Imo ceph nadaje się bardziej pod archiwizację. Nawet przy trzymaniu journala na ssd, przy dużych systemach rebalans potrafi potężnie orać wszystkie zasoby.
Uwierz mi, testowałem to również na 40Gbit szkielecie.
Może jakieś MD od della lepiej się sprawdzi?
  • 0

SWHosting.pl - Hosting klasy biznes

Blutu.pl - Budżetowy hosting z płatnością smsem i przelewem.


#5 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 16 kwiecień 2017 - 23:31

Jednak potrzebuje sporej wydajności. 40G to nic innego jak zagregowane 4x10G w jeden port choć nie sądze żeby to mogło być wąskim gardłem.

 

Zastanawiam się jaką przewagę daje zamknięta macierz nad serwerem z Linuxem? Poza prostotą wdrożenia są chyba same wady. Duże koszty, konieczność używania brandowanych dysków co jeszcze bardziej zwiększa koszty, zamknięte rozwiązanie co pogarsza elastyczność. Może wydajność i bezpieczeństwo danych? Myślę, że tu może być podobnie.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#6 behemoth

behemoth

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 1188 postów
  • Skąd:Łódź
  • Firma:swhosting.pl
  • Imię:Jakub

Napisany 16 kwiecień 2017 - 23:57

Bezawaryjność (chociaż tu zależy na czym postawisz Twoje rozwiązanie, bo może być porównywalnie). Imo główną zaletą jest szybkość wdrożenia. Nie bawisz się w wertowanie setek manuali, masz całą masę gotowych rozwiązań out of the box.
Minusem jest, jak sam wspomniałeś, koszt.
  • 0

SWHosting.pl - Hosting klasy biznes

Blutu.pl - Budżetowy hosting z płatnością smsem i przelewem.


#7 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 17 kwiecień 2017 - 08:40

Już byłem w zasadzie zdecydowany na S3200 od Lenovo, ale szale przeważyła konieczność stosowania dysków z błogosławieństwem. Mam kilkadziesiąt różnych dysków na półce, a żadnego z nich nie mógłbym wykorzystać. 


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#8 theONE

theONE

    Weteran WHT

  • Firma Platinum
  • PipPipPipPipPipPipPipPip
  • 1244 postów
  • Skąd:Warszawa
  • Firma:Dataspace.pl

Napisany 18 kwiecień 2017 - 11:54

Mam takie wrażenie że nie wiesz co chcesz albo nie masz kasy na to co chcesz/potrzebujesz.

 

FC jest drogie. Sama sieć kosztuje 2x tyle co ethernet. Zostało półtora producenta na polu bitwy i nic nie wskazuje na to że ma się to zmienić. Do tego ilość kabelków i kart w serwerach bardzo skutecznie utrudnia prace potem (Nie ma jak tego włożyć w tanią budę 1U). 

 

Żeby ten wydatek miał sens nie ma co iść w serwery z dyskami talerzowymi tylko trzeba iść w macierz najlepiej z cache na SSD. To znowu jest drogie. 

 

Nie ma jak z dwóch światów tego połączyć albo masz pracochłonny opensource na ethernecie albo masz blackbox na FC trzecia droga nie istnieje. 


  • 0

#9 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 18 kwiecień 2017 - 12:32

Jeśli mam zastosować FC to w Flexie od Lenovo. Tam switch FC wbudowany w budę jest dość tani i node'y też mają wbudowane HBA. Dlatego po stronie storage'u inwestuję tylko i wyłącznie w HBA. Tani jest FC 8 Gbps, szybsze faktycznie wyrywają z butów.

 

Okazuje się, że inwestycja w sprzętową macierz typu S3200 jest większa niż w CAŁĄ infrastrukturę w Flexie. Mam na myśli obudowę na 14 node'ów, zasilanie, switche FC i ethernet.

 

Inne znane mi rozwiązania są faktycznie bardzo drogie.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#10 theONE

theONE

    Weteran WHT

  • Firma Platinum
  • PipPipPipPipPipPipPipPip
  • 1244 postów
  • Skąd:Warszawa
  • Firma:Dataspace.pl

Napisany 18 kwiecień 2017 - 14:26

No ale zakładasz od razu że nie wyjdziesz poza te porty wbudowane a to często się mści. Na tak małej skali to lepiej iść w SAS zamiast FC. 


  • 0

#11 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 18 kwiecień 2017 - 15:02

Tylko jak mam wyjść poza wbudowane porty jak więcej serwerów się w obudowę nie wrzuci niż producent przewidział? Ze switcha FC na zewnątrz wystarczą mi dwa. Sposób podłączenia obu rozwiązań jest przecież identyczny. W przypadku Flexa nie ma opcji z SAS-em, a przynajmniej o niej nie wiem. Jest albo FC albo iSCSI.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#12 webh

webh

    Czasami na forum

  • Firma Bronze
  • 45 postów
  • Firma:Ultimahost.pl Szeliga sp.j.

Napisany 28 kwiecień 2017 - 16:34

Musisz sobie odpowiedzieć na jedno zasadnicze pytanie, co taka macierz zewnętrzna ma Ci dać?

Zawsze lokalny storage będzie tańszy, ponieważ nie masz kosztów związanych z budową macierzy jak i utrzymaniem infrastruktury(switche, okablowanie, konserwacje, modernizacje itp).

Jeśli chcesz zastąpić lokalne dyski, macierzą po to by szukać oszczędności to jest błędna droga.

Jeśli chcesz postawić na stabilność i bezpieczeństwo, to 1 macierz zwiększa ryzyko i potencjalne skutki awarii, a nie je minimalizuje. Tutaj musiałbyś zainwestować w jakieś narzędzia do replikacji danych i drugą macierz która ewentualnie przejmie ruch w przypadku awarii tej pierwsze. Duża macierz, to dużo danych, a i za tym idzie dużo klientów. Tutaj nie ma czasu na diagnostykę bardziej zaawansowaną w przypadku gdy coś się dzieje, trzeba natychmiast przepiąć ruch na storage zapasowy.
  • 0

#13 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 28 kwiecień 2017 - 17:04

Celem jest optymalizacja wykorzystania miejsca na dyskach. Mam serwery gdzie jest sporo miejsca, ale jest kiepsko z pamięcią albo procesorami, a są takie gdzie procek dłubie w nosie, a na dysku ciasno. Rozumiem, że można było to lepiej zaplanować, ale to nie jest rozwiązanie. Potrzebuje czegoś co da się lepiej skalować niż autonomiczne systemy.

 

Rozumiem argument o straszliwych skutkach potencjalnej awarii i szczerze mówiąc właśnie on mnie zniechęca do scentralizowanych rozwiązań.

 

Obecnie mam klaster testowy na którym badam Cepha i póki co jest moim faworytem. :)


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#14 webh

webh

    Czasami na forum

  • Firma Bronze
  • 45 postów
  • Firma:Ultimahost.pl Szeliga sp.j.

Napisany 28 kwiecień 2017 - 17:33

Dorzucenie dysków na wyrost wyjdzie taniej niż zostawianie macierzy.

SSD czy HDD? W przypadku dysków talerzowych jak na duża macierz pójdzie duże obciążenie, duża ilośc klientow to odczuje.

Ceph tez potrafi sie posypać. Duża macierz zawsze musi mieć stworzony szybki system recovery z którego w sensownym czasie potrafisz podnieść usługi.
  • 0

#15 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 28 kwiecień 2017 - 18:10

No właśnie nie jestem do końca przekonany co do ekonomicznego uzasadnienia tej tezy choć macierz w rozumieniu klasycznym mi się w ni cholery nie zapina finansowo. Czasem nie da się dorzucić dysków na wyrost, bo serwery mają ograniczoną ilość ramek, a te co mają ich więcej są droższe. Być może na pewnym poziomie skali opłaca się stosować zróżnicowanie funkcji pełnionych przez konkretne maszyny tj. mocne serwery 1U do obliczeń + słabsze wieloramkowe na storage.

 

Największy stres jest z przestrzenią SSD, bo jest droga choć szybko tanieje. Wówczas instalowanie przestrzeni na zaś to obarczanie usługi niepotrzebnymi kosztami. Może być nawet tak, że nigdy tch dysków nie wykorzystam, bo stwierdzę, że trzeba zamiast SATA instalować już NVMe. :)

 

Ceph to taki złoty środek, a jako bonus daje środowisko HA co nie jest bez znaczenia. W jakich okolicznościach Ceph Ci się sypnął? Bardzo mnie to interesuje w perspektywie moich prób popsucia testowego klastra.

 

Dodam jeszcze, że nie mam zamiaru robić pierdylion-node'owych klastrów. Myślę, że 5 serwerów na klaster daje wystarczającą elastyczność żeby skutecznie zapobiegać marnacji miejsca i takie systemu można potem powielać.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#16 webh

webh

    Czasami na forum

  • Firma Bronze
  • 45 postów
  • Firma:Ultimahost.pl Szeliga sp.j.

Napisany 28 kwiecień 2017 - 18:29

@mcbarlo pamiętaj że przestrzeń dyskowa na SSD jest droga, ale dyski masz już i 2TB w formacie 2,5", więc w obudowie 1U uzyskasz bardzo duże przestrzenie. A wolne miejsce na dyskach SSD, coż... Warto je mieć i traktować to jako plus. Im więcej wolnej przestrzeni na dysku SSD, tym dłużej Ci ten dysk pożyje ;-). Więc nie traktuj tego jako marnotrastwo.

Mieliśmy klienta, który miał uruchomionego Ceph'a na 3 serwerach dedykowanych. Pewnego dnia doszło do błędów synchronizacji i dane wyleciały w kosmos. Nie my tym zarządzaliśmy, więc nie znam większej ilości szczegółów, ale każde rozwiązanie nawet HA potrafi się wywalić. Jeśli nie będziesz na to przygotowany, to taka awaria równa się końcem Twojej firmy (jak w przypadku tego klienta).

My tworzyliśmy rozwiązanie typu storage na potrzeby hostingu. Chcieliśmy uzyskać:
- Możliwość łatwej migracji maszyn wirtualnych między nodami
- Szybkość i łatwość odtwarzania maszyn wirtualnych
- Względnie wysoką dostępność
- Częste kopie zapasowe

Doszliśmy do wniosku, że rozwiązania gotowe oferujące taką funkcjonalność są zbyt drogie, by racjonalne było ich używanie. Skorzystaliśmy więc z ogólnie dostępnego oprogramowania zbudowaliśmy następującą architekturę:

Macierz 25 dysków podstawowa
Macierz 25 dysków zapasowa na którą wykonuje się replika 
Macierz 12 dysków SATA na którą wykonuje się kopia z serwera repliki

Replika wykonuje się co 15 minut, kopie co 1 godzinę, całość działa na snapshotach więc jest to mało obciążające.

Dane 100% SSD. Niezależnie jak by nie liczyć, lokalny storage w każdym wyliczeniu wychodził taniej.
  • 0

#17 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 28 kwiecień 2017 - 18:45

Replikacji w czasie rzeczywistym nie traktuje jako backupu, ale w przypadku sprzętowego padu da bardzo szybki czas reanimacji - to fakt. Jak jakieś herezje zaczną dziać się po stronie systemu plików to one również się zreplikują i tu ważny jest backup, który odzyskuje się dłuuugo. Choć przy nie przesadzaniu w wielkością wirtualek może nie być dramatu choć niekoniecznie.

 

Piszesz o łatwym przenoszeniu wirtualek, ale rozumiem, że nie masz na myśli live migration?

 

HA przy swej całej za***istości jest cholernie skomplikowane co może powodować problemy, ale w końcu trzeba przeskoczyć ten level wyżej i sprawdzić to rozwiązanie w praktyce. :)

 

Jeszcze słówko na temat wolnych dysków. Nie chce zajechać ich na 99%, ale sam pewnie wiesz, że są takie przypadki gdzie wręcz nie ma szans skorzystać z zainstalowanego storage i to jest według mnie marnowanie przestrzeni. Przy konsolidacji mogłaby zostać użyta przez inny system, a bez klastra jest to upierdliwe, a na produkcji nie możliwe (nie teoretycznie, ale praktycznie).


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#18 webh

webh

    Czasami na forum

  • Firma Bronze
  • 45 postów
  • Firma:Ultimahost.pl Szeliga sp.j.

Napisany 28 kwiecień 2017 - 18:52

Owszem, replikacja to nie backup, ale na serwerze repliki mam jeszcze kilka snapshotów z których mogę przywrócić dane do tych z danego dnia. Backup, to osobny serwer, do którego dostęp mają klienci i mogą z niego pobierać dane.

Tak, mam na myśli lice migration.

To co Ci opisałem nie jest 100% HA, a jedynie repliką z której momentalnie można podnieść dane w przypadku awarii storage. Lub też w razie potrzeby mogę przepiąć ruch na serwer repliki.

Dyski są tanie. 1TB ~1,5k netto. Nasz serwer pod storage (bez dysków) to koszt około 20k netto, replika kolejne 20k netto. Policz ile możesz za to kupić dysków ;-), a do tych serwerów musisz jeszcze też dyski dołożyć.
  • 0

#19 patrys

patrys

    Weteran WHT

  • Moderatorzy
  • PipPipPipPipPipPipPipPip
  • 3155 postów
  • Skąd:Słupsk / Szczecin
  • Firma:NetFS
  • Imię:Patryk
  • Nazwisko:Gorczyca

Napisany 28 kwiecień 2017 - 18:53

Replika wykonuje się co 15 minut

 

Z ciekawości jakie to rozwiązanie programowe ?


  • 0
| Administracja serwerami - Potrzebujesz pomocy? Napisz! |

#20 webh

webh

    Czasami na forum

  • Firma Bronze
  • 45 postów
  • Firma:Ultimahost.pl Szeliga sp.j.

Napisany 28 kwiecień 2017 - 18:55

@patrys oskryptowany ZFS.
  • 0





0 użytkowników czyta ten temat

0 użytkowników, 0 gości, 0 anonimowych użytkowników