Skocz do zawartości

Web Hosting Talk

  • arubacloud.pl

    Partner technologiczny

    Aruba Cloud jest marką usług cloud na rynku europejskim. Została stworzona w celu dostarczenia firmom kompleksowych rozwiązań Cloud niezależnie od ich planów i projektów.

 

Zdjęcie

Macierz dyskowa - sprzętowa czy programowa?

Macierz dyskowa - sprzętowa czy programowa?

  • Proszę się zalogować aby odpowiedzieć
38 odpowiedzi na ten temat

Macierz dyskowa - sprzętowa czy programowa?

#21 behemoth

behemoth

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 1188 postów
  • Skąd:Łódź
  • Firma:swhosting.pl
  • Imię:Jakub

Napisany 28 kwiecień 2017 - 19:05

W 2.5 ramkach są już dyski 3.84TB ssd ;).
Mcbarlo spróbuj zrobić upgrade cepha, podczas którego wypadnie Ci kilka OSD. Wtedy ceph potrafi wylecieć w kosmos niestety. Sytuacja nie jest częsta, ale może mieć miejsce.
  • 0

SWHosting.pl - Hosting klasy biznes

Blutu.pl - Budżetowy hosting z płatnością smsem i przelewem.


#22 areq

areq

    Nowy użytkownik

  • Użytkownicy
  • 22 postów

Napisany 28 kwiecień 2017 - 22:14

Z ciekawości jakie to rozwiązanie programowe ?


Zfs i dalej co ? NFS ?
  • 0

#23 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 28 kwiecień 2017 - 23:20

Owszem, replikacja to nie backup, ale na serwerze repliki mam jeszcze kilka snapshotów z których mogę przywrócić dane do tych z danego dnia. Backup, to osobny serwer, do którego dostęp mają klienci i mogą z niego pobierać dane.

Tak, mam na myśli lice migration.

To co Ci opisałem nie jest 100% HA, a jedynie repliką z której momentalnie można podnieść dane w przypadku awarii storage. Lub też w razie potrzeby mogę przepiąć ruch na serwer repliki.

Dyski są tanie. 1TB ~1,5k netto. Nasz serwer pod storage (bez dysków) to koszt około 20k netto, replika kolejne 20k netto. Policz ile możesz za to kupić dysków ;-), a do tych serwerów musisz jeszcze też dyski dołożyć.

 

Jak jest live migration to musi być współdzielony storage oraz możliwość skorzystania z HA. Zależy co masz na myśli mówiąć HA. Czy podniesienie wirtualki po padzie node'a czy jej magiczne przerzucenie bez restartu. Takie rzeczy ma vmware, ale i eksperymantalnie w KVM-ie.

 

Ten 1 TB za 1.5k netto to SSD? Co to za model, bo jakiś podejrzanie tani?


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#24 webh

webh

    Czasami na forum

  • Firma Bronze
  • 45 postów
  • Firma:Ultimahost.pl Szeliga sp.j.

Napisany 29 kwiecień 2017 - 00:12

@areq w przypadku macierzy pod hosting udostępniamy zasoby via nfs. Stworzyliśmy też skrypty które potrafią praktycznie w "locie" zmienić master <-> slave miejscami ;-).

Na innej maciach mamy też doświadczenie z iscsi.

@mcbarlo Samsung 850 PRO.
Live migration != HA. Migracja maszyn na żywo w vmware jest możliwa nawet jak masz lokalny storage ;-). Dla KVM'a wymagany jest zewnętrzny storage, ale to nie oznacza że masz HA.
  • 0

#25 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 29 kwiecień 2017 - 09:05

Samsung Pro to konsumencki dysk. Pro to on jest tylko z nazwy. ;) Nie mam odwagi ich stosować choć klienci moi mają i żaden nie padł, a są egzemplarze co mają kilka lat. Choć to były raczej jeszcze 840 Pro.

 

W każdym razie ze względu na zaporową cenę Intela DC S3700 wybrałem Samsungi SM863.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#26 webh

webh

    Czasami na forum

  • Firma Bronze
  • 45 postów
  • Firma:Ultimahost.pl Szeliga sp.j.

Napisany 29 kwiecień 2017 - 10:46

Jeśli mamy wchodzić w szczegóły to SM863 jest dużo gorszym wyborem od 850 PRO. SM863 to odpowiednik Samsung 850 EVO zmniejszoną ilością przestrzeni na dane(przestrzeń ta jest wykorzystana na nadmiarowe bloki pamięci). Działa to na kościach TLC 3D.

Samsung 850 PRO posiada te same kości co PM863.

Intel S3700 to inna bajka, tutaj faktycznie mamy doczynienia z innymi kośćmi MLC HET, które charakteryzuję zdecydowanie większy endurance. Jednak w naszym przypadku, byłby to przerost formy nad treścią. Nasze usługi nie zapisują aż takiej dużej ilości danych.
  • 0

#27 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 29 kwiecień 2017 - 11:38

Jesteś tego pewien? Seria SM to odpowiednik S3700, czyli maksymalna wytrzymałość. Współczynnik TBW ma na poziomie 6160. Seria PM ma 1366 TBW i w tym wypadku wydajność, a nie wytrzymałość jest priorytetem. Seria Pro ma 300 TBW.

 

Jakie tam ktoś wsadził kości to nie ma znaczenia tak do końca. Można przecież zbudować wytrzymały dysk na TLC albo mało wytrzymały na MLC.

 

Samsungi PM są rozsądnym wyborem tylko zawsze jak kupowałem dyski to nie były dostępne.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#28 theONE

theONE

    Weteran WHT

  • Firma Platinum
  • PipPipPipPipPipPipPipPip
  • 1244 postów
  • Skąd:Warszawa
  • Firma:Dataspace.pl

Napisany 29 kwiecień 2017 - 12:11

Mam wrażenie że firmy hostingowe nie znają się na sprzęcie :(

 

behemoth 8 TB można kupić w 2,5 "od ręki" 16 TB jest na zamówienie dostępne 

 

SSD dzielą się na enterprise i na desktop

Różnią się tym co sie stanie jak będzie wyłączony prąd:
- enterprise mają kondensatory i dają gwarancję że wszystkie dane z cache będa zapisane

- desktopy mogą utracić dane z RAM mimo że system myśli że je zapisały 

Oraz metodologią testowania i podawania osiągów:

- desktopy IOPS i opóźnienia są podawane kiedy działa cache i są wolne komórki 

- enterprise IOPS są podawane dla komórek pamięci kiedy RAM i zapasowe komórki są zapisane 

Dyski Enterprise można zwykle przeformatować zmieniając miejsce na odporność na zapisy 

 

Niezależnie od tego czy to jest enterprise czy desktop każdy dysk wyróżniają dwa parametry:

- żywotność (wyrażona ile danych można zapisać w ciągu 5 lat albo ile raz można zapisać dysk dziennie) 

- złącze (SATA, SAS (w desktopach raczej nie ma), NVME, M2, U2) 

 

Im większy dysk tym żywotność mierzona ilością zapisów dziennie jest mniejsza. Cięzko zapisać 10x dziennie dysk 4TB ale dysk 400 GB już można 

 

I teraz kiedy wybieramy dysk to patrzymy na to ile mamy kasy (im większa wytrzymałość tym drożej za 1 GB) w ile potrzebujemy IOPS, jakie opóźnienie, jaka kolejka, ile danych, jaka żywotność. I na bazie tego wybieramy dysk. 

 

 

Na ten moment olał bym desktopy w całości. Skoki wydajności przy pracy ciągłej oraz niepewność jak wysiądzie prąd. 

 

Teraz dyski enterprise w kolejności od najtańszych do najdroższych:
- Intel (3500) i sandisk czyli hgst mają żywotność koło 1 zapisu dziennie przez pięć lat SATA.

- Pojawiają się w bólach porodowych tanie NVME - U2 1-2 zapis dziennie

- Potem samsung SM  z 3,5 zapisami dziennie.

- Dalej 3-5 zapisów dziennie SATA/SAS (intel, hgst) tutaj jest 3700 Intela właśnie

- Wysokie odporności na zapisy 10+ SAS/NVME

 

Na ten moment serwer www to mix SATA/SAS i kontroler RAID

Za rok/półtora to U2 i kontroler RAID 

 

 

 

A desktopy PRO/EVE od Sm/PM oddziela bardzo wiele od softu na kontrolerze dysku przez ilość zapisów do rodzaju zastosowanch nandów. 

 

  • 1

#29 Sebak

Sebak

    Weteran WHT

  • WHT+
  • PipPipPipPipPipPipPipPip
  • 1222 postów
  • Skąd:Łódź
  • Imię:Sebastian

Napisany 29 kwiecień 2017 - 12:32

@mcbarlo tak, jestem pewien. Około 2 lat temu jak podejmowałem decyzje zakupowe interesowałem sie tematem dość dokładnie. Kości pamięci są dokładnie te same, kontroler jest ten sam, ale posiada zmodyfikowane oprogramowanie. Różnice w endurance biorą sie z ilości komórek przeznaczonych jako nadmiarowe bloki pamięci. Oczywiście gwarancja to jedno, realne życie to drugie. Kiedys w sieci był test samsunga 850 pro gdzie osoba testujący zapisana na niego kilka PB danych.

@theONE wymądrzasz sie a nie do końca masz racje. Niektóre dyski typu desktop rownież maja kondensatory chroniące je przed zanikiem napięcia, np crucial m550 czy samsung 850 pro.
  • 0

#30 theONE

theONE

    Weteran WHT

  • Firma Platinum
  • PipPipPipPipPipPipPipPip
  • 1244 postów
  • Skąd:Warszawa
  • Firma:Dataspace.pl

Napisany 29 kwiecień 2017 - 12:49

@sebak metoda testowania wydajności i żywotności a więc deklaracja producenta decyduje o tym czy jest to dysk enterprise. Desktopy sa testowane:

- w innej temperaturze

- dla 8 godzin obciazenia dziennie (enterprise 24h)

- inny UBER 

- Inny czas zachowania danych przy odcięciu zasilania 

 

Idz w google wpisz Client vs Enterprise SSD. JESD219 i poczytaj jak wyglądają normy a potem mów 

 

Oba dyski które pokazałeś to dekstopy

 

Crucial ma power loss protection wszstkie inne parametry jak desktop. Już się kilka firm hostingowych na nim przejechało

Samsung 850 pro producent jasno pisze że nie ma power loss protection i że jest to desktop

Wszystko co jest podane przez producenta jasno mówi przy obu desktop od kontrolera, przez testy, przez parametr. 

 

Pokaż informacje producenta obu gdzie jest napisane inaczej.

 

 


  • 0

#31 Sebak

Sebak

    Weteran WHT

  • WHT+
  • PipPipPipPipPipPipPipPip
  • 1222 postów
  • Skąd:Łódź
  • Imię:Sebastian

Napisany 29 kwiecień 2017 - 12:59

@theONE nie mam teraz dostępu do komputera(majówka), więc mam problem z dyskusja z Tobą. Niemniej nie wierz we wszystko co Ci mówi producent, gdyż on ma interes w Tym by sprzedać Ci droższy produkt.

Używamy samsungow 850 pro juz 2-3 lata i przez ten okres ani jedna sztuka nam nie padła, ani jeden bajt danych nie został utracony. A mówimy tutaj o woluminie 100-200 sztuk.
  • 0

#32 theONE

theONE

    Weteran WHT

  • Firma Platinum
  • PipPipPipPipPipPipPipPip
  • 1244 postów
  • Skąd:Warszawa
  • Firma:Dataspace.pl

Napisany 29 kwiecień 2017 - 13:10

Ja tego kupiłem już kilka może kilkanaście tysięcy sztuk w życiu wiem co piszę. Monitoruj smart i nie przekraczaj parametrów producenta żywotności to nic strasznego nie będzie.

Jak ci nie padają znaczy że nie masz dużego zużycia. Jak zaczniesz orac albo dojdziesz ze zużyciem do gwarancji będą padać. SSD ogólnie mniej się psują od talerzy.

Dwa lata temu było tak że było 850 pro i długo długo nic. Teraz jest zupełnie inaczej
  • 0

#33 Sebak

Sebak

    Weteran WHT

  • WHT+
  • PipPipPipPipPipPipPipPip
  • 1222 postów
  • Skąd:Łódź
  • Imię:Sebastian

Napisany 30 kwiecień 2017 - 01:28

@theONE smart jest oczywiście monitorowany na bierząco. Mam w swoim portfolio Samsungów 850 pro kilka sztuk których endurance dochodzi do 1 PB(wersja 1TB) i nie maja ani jednej realokowanej komórki. Oczywiście dyski SSD wymagają by o nie dbać, np. nie tworząc partycji na całej dostępnej przestrzeni dysku.

Nasza macierz hostingowa opiera się na SM863 i mówiąc szczerze, gdyby nie fakt że udało mi się je zdobyć w dobrej cenie, nie widziałbym potrzeby stosowania ich. Nie widzę zadnej roznicy wydajnościowej w moim zastosowaniu względem konstrukcji opartych na 850 PRO. Osobiście uważam, ze prawie każdy SSD i tak zapewnia dużo większą wydajność niż macierze SAS. Wiec zawsze można lepiej i drożej, czasami pytanie tylko po co jeśli w danym zastosowaniu nie będzie widać różnicy?

Na szybko jeszcze zweryfikowałem i potwierdzam, ze kontroler fizycznie w 850 Pro/Evo i SM863/PM863 ma ten sam part number: S4LP052X01-8030

Edytowany przez Sebak, 30 kwiecień 2017 - 01:37.

  • 0

#34 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 11 maj 2017 - 08:42

Wracając do tematu pomęczyłem nieco testowy klaster na Proxmoxie 5 z Cephem. Mimo wielu prób jeszcze go nie zepsułem. :) Zastanawiam się nad rozwiązaniem sieci przy trzech node'ach. Cel jest taki żeby uniknąć dwóch drogich switchy 10G i mieć fail-over.

 

Zrobiłem to tak, że każdy node ma 2 sieciówki dla Cepha i spiąłem je w ringu. Wszystkie te interface'y są w bridge'u OVS i żeby nie było pętli włączone jest RSTP. W zasadzie działa to sprawnie. Kiedy wypnę jakiś link to wszystko żyje. Aczkolwiek RSTP jak nie trudno się domyślić zawsze kładzie jedno połączenie przez co ruch z pierwszego do trzeciego serwera musi iść przez drugi, a to marnowanie pasma.

 

Druga opcja to Linux Bond broadcast. Tutaj powyższy problem konieczności przechodzenia ruchu nie występuje, ale znowu nie ma fail-overa co jest niedopuszczalne.

 

Obie metody są problematyczne podczas rozbudowy klastra.

 

Czy według Was jest szansa żeby to skonfigurować w taki sposób żeby nie marnować przepustowości, mieć fail-over i może nawet load-balancing?


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#35 patrys

patrys

    Weteran WHT

  • Moderatorzy
  • PipPipPipPipPipPipPipPip
  • 3155 postów
  • Skąd:Słupsk / Szczecin
  • Firma:NetFS
  • Imię:Patryk
  • Nazwisko:Gorczyca

Napisany 11 maj 2017 - 08:46

Mimo wielu prób jeszcze go nie zepsułem. 

 

Próbowałeś odłączyć sieć dla wszystkich 3 nodów w jednej chwili ? :)


  • 0
| Administracja serwerami - Potrzebujesz pomocy? Napisz! |

#36 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 11 maj 2017 - 08:57

Jasne. Robiłem pętle, raz pomyliłem adresacje do monitorów i nieświadomy tego faktu próbowałem zreanimować storage. :) Tu faktycznie po ustawieniu wszystkiego miałem część zdegradowanych PG, ale ogarnęło się samo w kilka minut.

 

Wyrywałem kabel z prądem ze wszystkich node'ów w jednej chwili. Tu odrazu health ok po starcie.

 

Póki co kombinuje z różnymi konfiguracjami, psuciem na poważnie zajmę się później.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#37 theONE

theONE

    Weteran WHT

  • Firma Platinum
  • PipPipPipPipPipPipPipPip
  • 1244 postów
  • Skąd:Warszawa
  • Firma:Dataspace.pl

Napisany 11 maj 2017 - 11:22

A jak z wydajnością. Szczególnie przy odbudowie
  • 0

#38 mcbarlo

mcbarlo

    Weteran WHT

  • Firma Bronze
  • PipPipPipPipPipPipPipPip
  • 502 postów
  • Skąd:Częstochowa
  • Firma:IntegraDesign
  • Imię:Mariusz
  • Nazwisko:Barczyk

Napisany 11 maj 2017 - 11:29

Jeszcze wydajnościowo nie testowałem. Chce dograć temat sieci na gotowo, bo to implikuje zachowanie przy różnych scenariuszach awarii.


  • 0
Profesjonalny hosting w dobrej cenie - www.idhosting.pl
Serwery WWW, VPS, dedykowane

#39 cdcd

cdcd

    Stały użytkownik

  • Użytkownicy
  • PipPipPipPipPip
  • 250 postów

Napisany 11 maj 2017 - 12:57

Seria Pro ma 300 TBW.

 

https://packet.compa...aign=PacketRAID

 

niby jest te 300TB ...
 

moje już dawno po  limicie i działają , ale niestety problemu padu zasilania nie przeskoczę w 850pro


  • 0





0 użytkowników czyta ten temat

0 użytkowników, 0 gości, 0 anonimowych użytkowników