Storage 10-15 tb

[gutek 23]

Jest potrzeba przechowania około 10 tb danych, pytanie na czym (sata, ssd) żeby można było szybko zapisać i odczytać dane i żeby to nie było mega drogie, w dużym skrócie będzie mnóstwo plików o rozmiarze około 0,2 mb i dostęp do zasobów będą miały obecnie 2 a w przyszłości 4 serwery.

 

Czy lepiej będzie gdy zastosujemy więcej dysków o mniejszej pojemności i czy dzięki temu będzie większa wydajność zapis / odczyt ?

[Kszysiu 136]

Pytanie jak z budżetem? I jak dużo tej wydajności wam potrzebne? Bo można użyć 30 dysków ssd po 1TB w raid 10, a można z 6 dysków hdd 4TB w raid 5 i wydać 1/20 tego co w poprzednim rozwiązaniu:)

Może raid 5/6 na HDD + cache SSD w raid 1 albo raid10 we writeback??

[bybunny 540]

Wszystko zależy od kwoty jaką chcesz przeznaczyć. Jeżeli rozmawiamy o wysokiej wydajności to opierał bym to na dyskach SSD ewentualnie SAS. Pytanie czy zastosowanie większej ilości dysków spowoduje wydajność nasuwa automatycznie kolejne pytania typu czy dalej chcesz tanio i na jakiej zasadzie chcesz podpiąć storage (sposób wykorzystania). Przepraszam że tak ogólnie ale nie dajesz za wiele informacji.

Każde rozbudowane storage będzie wydajniesze ale zarazem podniesie bardzo koszta. Pamiętaj że RAID 10 to poniekąd podniesione bezpieczeństwo i zarazem odbija sie to na cenie, niestety!. Przy RAID 5 wydajność ale proces odbudowy storage może boleć.

 

Cena i jeszcze raz cena jaką chcesz przeznaczyć! Następnie sposób wykorzystania względem serwerów które maja używać tych danych (storage)

 

Pytanie jak z budżetem? I jak dużo tej wydajności wam potrzebne? Bo można użyć 30 dysków ssd po 1TB w raid 10, a można z 6 dysków hdd 4TB w raid 5 i wydać 1/20 tego co w poprzednim rozwiązaniu:)

Może raid 5/6 na HDD + cache SSD w raid 1 albo raid10 we writeback??

 

6 dysków po 4TB wydajnościowo jest cieniutko - na backup ok ale nie na ciągły odczyt danych przez kilka serwerów. Zacznie mu się to zatykać.

 

Dokładając do tego cache na SSD da kopa ale dalej kręcimy się na zasadzie "zrób to sam" co przy awarii da sporego kopa w du...e.

 

Jeżeli ma to być wydajne i bezpieczne niestety ale zawsze się to = kasa

 

[gutek 23]

Według mnie cache nie wiele pomoże, bo więcej będzie operacji zapisu niż odczytu.. a jeżeli będzie już odczyt to np. 20-30% zawartości jednorazowo..

 

Co do rozwiązania to chciałbym może na początek bazować np. na sata ze względu na cenę, w sumie połączenie z storage i tak jest na lanie 1 gb.

 

W kwesti "bezpieczeństwa" to powiedzmy że dziennie około 20% zasobów będzie zaktualizowana więc w przypadku padu macierzy, szybko ją odbudujemy z "materiałów" dostępnych na zewnątrz..

 

Nie mam doświadczenia jak dobrać procesor do takiego zastosowania.

[bybunny 540]

Według mnie cache nie wiele pomoże, bo więcej będzie operacji zapisu niż odczytu.. a jeżeli będzie już odczyt to np. 20-30% zawartości jednorazowo..

 

Co do rozwiązania to chciałbym może na początek bazować np. na sata ze względu na cenę, w sumie połączenie z storage i tak jest na lanie 1 gb.

 

W kwesti "bezpieczeństwa" to powiedzmy że dziennie około 20% zasobów będzie zaktualizowana więc w przypadku padu macierzy, szybko ją odbudujemy z "materiałów" dostępnych na zewnątrz..

 

Nie mam doświadczenia jak dobrać procesor do takiego zastosowania.

 

Ok , zostawmy na początek bezpieczeństwo. Cache daje bardzo dużo bo nie wykorzystuje zwykłych HDD podczas odczytu. Patrząc z tej strony zapis obiera niezależna drogę co powoduje wydajność na poziomie zawartości.

 

Opierając to o wzór:

 

A (zwykłe HDD) + B (Cache SSD) + K (Kontroler RAID) = C (Storage) S1 + S2

 

Przyjmując założenie że zewnętrzne 2 dojścia (S1 + S2 = dwa serwery) do danych wykonują równocześnie operację jasno tworzy podział zadań w oparciu o kontroler ,który jest stworzony do tego by utworzył zawartość podręczną danych wyręczając i przyspieszając pracę . Nie ma mowy o opóźnieniach i zdecydowanie takie rozwiązanie pomoże jak dalej chcesz to opierać na zwykłych HDD.

 

A (zapis) + K (Kontroler RAID) = C S1 + S2 > B (odczyt) + K (Kontroler RAID) = C S1 + S2

 

Procesor w tym przypadku nie ma aż tak dużego znaczenia bo w 80% zarządzanie danymi odbiera kontroler. Bardzie martwi mnie wymiana ruchu na poziomie lan bo to może być wąskie gardełko dla zapisu i odczytu biorąc pod uwagę 2 serwery które będą miały dostęp do tych danych równocześnie.

 

[theONE 526]

Małe pliki są ciężkie. Buda 10x2 TB sata i do tego 2 ssd jako cache dla kontrolera. Można próbować 12x2tb ale duzo małych plików będzie boleć. Odczyty będą powodować czkawke bo idą z fizyki a nie z cache...

Ssd niestety tylko serwerowe wchodzą więc będzie drogo. Chyba że poczekać na 2tb desktop i na nich z zapasem...

[Kszysiu 136]

 

 

Według mnie cache nie wiele pomoże, bo więcej będzie operacji zapisu niż odczytu.. a jeżeli będzie już odczyt to np. 20-30% zawartości jednorazowo..

Właśnie cache daje dużo więcej przy zapisie niż odczycie;)


Musisz powiedzieć czego dokładnie wymagasz od tego storage. Czy ma być w stanie serwerować te pliki z predkością 100MB/s czy 1000MB/s...

Chyba zrobiłbym tak jak theONE powiedział (i podobnie mówiłem wcześniej), czyli twardziele + cache. Tylko na cache musisz użyć serwerowe dyski. Zwykłe konsumenckie jako cache są nieopłacalne (przeżyją miesiąc może dwa).

 

Odczyty będą powodować czkawke bo idą z fizyki a nie z cache...

zależy, jak jeżdżą najbardziej po tych danych co dopiero tam wrzucili to jest duża szansa, że większość pójdzie z cache:)

 

 

a te SSD to najlepiej jakieś mega szybkie, żeby HDD nie miały dużo więcej zapisu liniowego niż SSD

[cdcd 29]

Jak sie maja dyski SSD konsumencje do serwerowych ? dlaczego konsumencke padaja tak szybko od przebiegu?

czy trim musi byc wlaczony w dyskach ssd i dziala na hw kontrolerach raid ?

[theONE 526]

trim działa na niektórych konfiguracjach, ssd musi być wspierany przez kontroler

 

desktopowe dyski na dysku 120 GB zapiszesz z 40 TB danych i padnie. Na serwerowym zapiszesz 1 PTB i padnie

[gutek 23]

ja wczoraj zaliczyłem pad 2 dysków ssd po 3 miesiącach działania a żeby było śmiesznie oba były raid1

[cdcd 29]

trim działa na niektórych konfiguracjach, ssd musi być wspierany przez kontroler

 

desktopowe dyski na dysku 120 GB zapiszesz z 40 TB danych i padnie. Na serwerowym zapiszesz 1 PTB i padnie

 

Crucial M550 posiada tę granicę ustaloną na poziomie 72 TB przez producenta

830 Series	64GB/128GB/256GB/512GB	3 years
840 Series	120GB/250GB/500GB	3 years
840 PRO Series	128GB/256GB/512GB	5 years (73 TBW for enterprise applications)
840 EVO Series	120GB/250GB/500GB	3 years
850 PRO Series	128GB/256GB	10 Years or 150TBW
512GB/1TB	10 Years or 300TBW
850 EVO Series	120GB/250GB	5 years or 75 TBW
500GB/1TB	5 years or 150 TBW

No i ten test ponad roczny

http://www.computerworld.pl/news/400172/Opinia.ze.dyski.SSD.nie.sa.zywotne.to.mit.html

 

test sie skonczyl 12 marca 2015

http://techreport.com/review/27909/the-ssd-endurance-experiment-theyre-all-dead

 

to zwykle tanie ssd dla kowalskiego a czesc z nich dozyla 2PB

wiec jakie to dyski padaja po 40TB? czy to jakas inna specyfika pracy jest w serwie ze trzeba kupic intela DC za ~4K ?

Edytowano Kwiecień 20, 2015 przez cdcd (zobacz historię edycji)

[Kszysiu 136]

Jest jeszcze kwestia wydajności i bezpieczeństwa danych.

Mało które dyski konsumenckie mają kondensatorki które podtrzymują zasilanie w przypadku padu (na czas zapisania danych z cache).

Z tego co pamiętam np cruciale mx100 mają...a tak to mało które dyski.

Jest tez róznica w wydajności...

Odpal sobie taki test:

sudo fio --filename=/dev/sda --direct=1 --sync=1 --rw=write --bs=4k --numjobs=1 --iodepth=1 --runtime=60 --time_based --group_reporting --name=journal-test

który wymusza dsync itp.

Wyniki będa mniej więcej takie:

 

840 evo ~100 iops
intel 530 ~50iops
840 pro ~150 iops

HDD 7,2k- 72 iops

Serwerowy SSD samsunga ( nie pamietam jaki ) 13k iops

Czyli przy takich zapisach jest zaledwie ~1000 razy szybszy.

No i konsumenckie dyski potrafią się nieźle przypchać jak tłuczesz je długo bez przerwy randIO.

Jest jeszcze kwestia gwarancji. Kiedy zjeździsz na tym dysku konsumenckim ten limit 100TB i się jednak zepsuje (nawet nie zużyje) to co wtedy? wyślesz na gwarancje?

Wole zapłacić 2x wiecej za dysk i mieć go teoretycznie na 10x dłużej.

 

 

[pekus 31]

W przypadku reklamacji jest jeszcze coś takiego jak ustawowa rękojmia (po 25.12.2014r.)

 

Dlatego sporo osób kupuje towar na paragon a nie na firmę i go później reklamuje; np. zarzyna wiertarkę po 3 miesiącach używania i reklamuje w ten sposób.

Edytowano Kwiecień 20, 2015 przez pekus (zobacz historię edycji)

[cdcd 29]

Jest jeszcze kwestia gwarancji. Kiedy zjeździsz na tym dysku konsumenckim ten limit 100TB i się jednak zepsuje (nawet nie zużyje) to co wtedy? wyślesz na gwarancje?

 

 

 

 

Jak przekroczy te 72 czy 150 czy 300TB itp to juz nie wyśle oczywiście na gwarancje

ale co jak będzie działał ponad te wartości ktore jak widać w testach wcale nie był trudne do osiągnięcia

dla wszystkich producentów, a dyski kosztowały kilkaset złoty nie tysiecy

 

Pomijam tu temat wydajności vs SSD PRO bardziej mi chodzi o trwałości i zastąpienie zwykłych sata/sas w serwerach właśnie takim zwykłym SSD

 

 

Wole zapłacić 2x wiecej za dysk i mieć go teoretycznie na 10x dłużej.

 

 

 

To raczej trzeba "zaplacic 10x wiecej zeby miec 2x dluzej "

 

Podaj jakis model dysku profesjonalnego za te przykładowo 1000zl

zwykly 2,5 bez Pcie o pojemność jakies ~400GB

 

[theONE 526]

500 desktop kosztuje 1000

serwerowa 400 kosztuje 2x tyle http://ark.intel.com/products/84238/Intel-SSD-DC-S3710-Series-400GB-2_5in-SATA-6Gbs-20nm-MLC

 

Nie wiem skąd się wzięło 10x więcej koledze (pewnie 2013 rok)

 

Po przekroczeniu parametrów zapisów producent nie gwarantuje że dyski trzymają dane poprawnie, tzn mimo tego że nadal możesz zapisać dane i je odczytać to _mogą_ nie być takie same dane, w zastosowaniach komercyjnych to ma znaczenie...

 

Testy które podałeś były układane pod jak największe liczby jakie mają z nich wyjść, normalnie przesuwanie danych stałych oraz zapisy bardzo małych danych zjadają sporo z żywotności

 

Ilość błędów na desktopach jest większa

 

Do tego dyski enterprise zachowują się inaczej podczas wyłączenia prądu nagłego niż desktopy

[XYS 3]

A co sądzicie do zastosowań mało-serwerowych 2*256 GB Samsung 850 PRO? Pochodzi przy bazach MS SQL?

[Gość patrys]

Co do procesora wystarczy jakiś Xeon E3/E5.

Kluczowy jest RAM, przy takich macierzach minimalna ilość to 48GB.

System ładnie cachuje odczyt właśnie w pamięci co znacznie odciąża dyski.

Dyski dla macierzy faktycznie lepiej kupować z serii serwerowych, bo czym więcej dysków w nich tym częściej widać ich "śmierć"

 

[chmuri 89]

Hi

 

12 dysków * 4TB w raid10 spokojnie wystarczy. Tylko pytanie czy chcesz kupić taki serwer i w kolokację czy dzierżawę?

Edytowano Kwiecień 20, 2015 przez chmuri (zobacz historię edycji)

[Kszysiu 136]

chmuri moze mu taki 'na miejscu' potrzebny a nie w sieci:)

[gutek 23]

wybiorę dyski sata + kontroler z cache na ssd i zobaczę jak to bedzie działać..

 

@krzysiu potrzeba żeby to było w sieci.

 

Miałem w weekend niespodziankę w postaci awarii 2 dysków które były w raid 1, czy możliwe że jeden z dysków wysypał się wcześniej bo raczej oba w tym samym czasie to nie realne i nie było żadnej informacji wcześniej że coś jest nie tak?

[Gość patrys]

wybiorę dyski sata + kontroler z cache na ssd i zobaczę jak to bedzie działać..

 

Pamiętaj o pamięci RAM, bo ta macierz mimo SSD cache dalej może być wąskim gardłem.

 

Miałem w weekend niespodziankę w postaci awarii 2 dysków które były w raid 1, czy możliwe że jeden z dysków wysypał się wcześniej bo raczej oba w tym samym czasie to nie realne i nie było żadnej informacji wcześniej że coś jest nie tak?

 

Z reguły jest tak, że dysk pada wcześniej, a klient widzi już to dopiero po awarii drugiego.

Dlatego tak istotne są specjalistyczne monitoringi

[gutek 23]

Chciałbym odświeżyć temat..

 

W dużym skrócie dane będą aktualizowane wg pewnego schematu przez aplikację (4 serwery api), planuję podzielić storage na 4 macierze raid 1 z dyskami 3 tb sata dzięki czemu osiągnę wymaganą przestrzeń, wówczas każdy z serwerów (api) wykonuje aktualizację w obrębie swojej macierzy teoretycznie mając wykorzystywaną macierz tylko do swojej dyspozycji, tu zaznaczę że obecnie całość będzie ograniczona LANEM 1 gb więc SATA powinno wystarczyć..

 

Czy jest sens tworzyć LVM z 1 voluminem dla wszystkich macierzy czy lepiej każdą odseparować jako osobny? Mam np. teraz połączone 4 dyski 512 gb ssd na 2 soft raid 1 jako jeden volumin i zauważyłem, że gdy na voluminie zostaje <10% wolnego miejsca to drastycznie spada prędkość odczytu i zapisu, czy przy rozbiciu tego na 2 voluminy może być lepiej ?

[Bartosz Z 236]

tu zaznaczę że obecnie całość będzie ograniczona LANEM 1 gb więc SATA powinno wystarczyć..

 

zauważyłem, że gdy na voluminie zostaje <10% wolnego miejsca to drastycznie spada prędkość odczytu i zapisu, czy przy rozbiciu tego na 2 voluminy może być lepiej ?

 

Najszybsze HDD mają ~190 MB/s - SAS nie przyspieszy Ci w magiczny sposób prędkości samego dysku (w wolnym czasie zapoznaj się: http://www.webhostingtalk.pl/topic/50474-ssd-3gbs-czy-sas-6gbs/).

 

SSD (i inne nosniki flash) lubią mieć partycje o sumarycznym rozmiarze maks. 90% rozmiaru dysku - resztę przestrzeni przeznaczają na wewnętrzne prace, więc stąd może wynikać spadek wydajności