Serwer do 1 TB RAM

[mmat 0]

Witam,

Interesuje mnie konfiguracja do której da się włożyć około 750 - 1024 GB ram-u.

Najchętniej w postaci zwykłych DIMM-ów 16 GB. Czyli płyty które mają min 48 banków. (48 x 16 GB = 768 GB).

LRDIMM-y 32 GB są obecnie zbyt drogie - stąd mnie nie interesują.

Jakie modele serwerów spełniają takie warunki ?

Wiem że np. HP Proliant DL 560 Gen8 ma 48 banków.

Jakieś inne propozycje ?

Pozostałe kryterium to cena serwera.

(serwer powinien też mieć możliwość podłączenia 8-10 dysków na sprzętowym RAID-zie).

Proszę o propozycje zarówno oparte na Intelu jak i AMD.

Z góry dziękuję za pomoc

[przemon 35]

HP DL 560 Gen 8 to koszt minimum 5500 USD netto

Ciężka sprawa. Chyba jedyna sensowna alternatywa to kupno platformy serwerowej Intel z płytą S4600LH2 (ten sam model co w DL 580Gen8) i wyposażenie serwera. Platforma ~9000zł netto.

 

 

http://download.intel.com/support/motherboards/server/sb/s4600lh_production_config_guide_v1_81.pdf

 

 

Tylko trzeba policzyć czy ci się opłaca zabawa w składanie.

 

[mmat 0]

Przemek, dzięki za propozycje.

Składanie raczej odpada. To powinien być kompletny serwer z pełną gwarancją NBD.

Koszt 5500 USD to nie jest duża kwota. Fakt że jeszcze do tego dojdą komponenty (dyski, ram) - choć większość zostanie przełożona z obecnego serwera.

Ale liczę się oczywiście że taki pułap kwot jest w tym segmencie produktów.

 

Po prostu chce mieć jak najwięcej alternatyw do wyboru zanim podejmę decyzję

[przemon 35]

No alternatyw za dużo to nie ma, bo mało jest płyt z 48 slotami.

 

Jest jeszcze

 

IBM 3750m4 ale droższy od HP

 

więcej nie znalazłem. Rozumiem Cię.

Moduły 32GB LRDIMM niestety najtańsze od 2000zł netto od biedy.

Co przy 768GB w porównaniu z 16GB DIMM daje różnicę ~30 tys zł

Jest jeszcze jedna opcja Dell R820

Jak byś miał kogoś w UK co kupi i przefakturuje to można go łyknąć z Dell Outlet za 2500 funtów.

 

http://outlet.euro.dell.com/Online/SecondaryInventorySearch.aspx?c=uk&l=en&s=dfb&cs=ukdfb1&puid=ddc1029f

 

Czasem lecą promocje na outlet nawet 20% (kody dell outlet).

Wybierasz do tego gwarancję NBD i serwer jak nowy. Kupowałem tak kiedyś laptopy z US - akurat znajomy służył w armiii w Ansbach w DE i miałem transport za darmo i 0 problemów z cłem, sam zamawiałem i opłacałem. Dell E6400 w PL kosztował minimum 4 tys zł a z outletu US był po kuponach za 390 USD a dolar wtedy po ca 2,5zł i wziąłem 2 sztuki.

[theONE 526]

Przez 4procki to zawsze wychodziło mi taniej dwie maszyny po 24 kości brać. Nie uda ci się taki wariant?

[behemoth 230]

Fujitsu też posiada serwer z 48 bankami pamięci:

http://www.fujitsu.com/fts/products/computing/servers/primergy/rack/rx500/index.html

[Gość mariaczi]

Są jeszcze maszyny CISCO. Ten ma 48 slotów na ram: http://www.cisco.com/c/en/us/products/collateral/servers-unified-computing/ucs-c-series-rack-servers/data_sheet_c78-717325.html

[Misiek08 285]

Koniecznie potrzebujesz tego w 1 maszynie? Nie możesz tego rozpisać na więcej lub z kilku zrobić klaster?

[theONE 526]

Masz też supermicro na 96 banków alenadal to są maszyny 4Prockowe co winduje strasznie koszta :/

[mmat 0]

Dzięki wszystkim za propozycje.

Mam dużą bazę postgresql. Jeżeli wiecie jak łatwo można skalować postgresa horyzontalnie - to oczywiście może być kilka słabszych maszyn

Niestety przeglądałem dostępne rozwiązania open source-owe i raczej słabo to wygląda. Są rozwiązania komercyjne (np. PostgreSQL Plus Advanced Server) - ale ich koszt (roczna subskrypcja 5000 USD) przewyższy koszt serwera. Tak więc raczej mocny serwer 48 bankowy do 768 GB RAM - jest chyba najtańszą opcją.

Koniecznie potrzebujesz tego w 1 maszynie? Nie możesz tego rozpisać na więcej lub z kilku zrobić klaster?

 

Czy chodzi Tobie o klaster na poziomie systemu operacyjnego ? Możesz zaproponować jakieś konkretne rozwiązanie ? Czy jego wydajność będzie równa mniej więcej sumie poszczególnych maszyn ?

[mmat 0]

Z tego co widzę to wszystkie Wasze propozycje dotyczą platformy Intel-a.

A czy znajdą się jakieś oparte o procesory AMD ?

[Gość patrys]

Tak, do 32 slotów: http://www.supermicro.nl/aplus/memory/aplus_memory_support.cfm?pname=H8QG7/i(%2B)-LN4F

 

Tak z ciekawości, co będzie pracować na tak dużej ilości pamięci ?

U nas pojedynczy serwer fizyczny wykorzystał max 128GB bez wirtualizacji.

[Gość mariaczi]

Tak z ciekawości, co będzie pracować na tak dużej ilości pamięci ?

Autor napisał, że ma duża bazę danych PostgreSQL.

[elcct 159]

Zależy jakie są zapytania itd. Jeżeli chodzi na przykład o generowanie raportów itd, to zawsze można użyć coś w typie klastra Hadoop oraz np. Hive czy Shark i na tym wykonywać zapytania, wtedy można rozbić na wiele low-endowych maszyn.

[mmat 0]

Widzę że jest też HP Proliant DL585p Gen7 z 48 slotami pod Opterony.

 

Tak, do 32 slotów: http://www.supermicro.nl/aplus/memory/aplus_memory_support.cfm?pname=H8QG7/i(%2B)-LN4F

 

Tak z ciekawości, co będzie pracować na tak dużej ilości pamięci ?

U nas pojedynczy serwer fizyczny wykorzystał max 128GB bez wirtualizacji.

 

Baza PostgreSQL obecnie ok 500 GB - docelowo będzie więcej.

Jest dużo zapytań, ale co ważniejsze - pojedyncze zapytanie może obejmować nawet 10-20% całej objętości bazy. Stąd system jest bardzo RAM-hungry

Czasami nawet zdarzają się zapytania agregujące które mielą prawie całą bazę (prawie wszystkie rekordy).

Zależy jakie są zapytania itd. Jeżeli chodzi na przykład o generowanie raportów itd, to zawsze można użyć coś w typie klastra Hadoop oraz np. Hive czy Shark i na tym wykonywać zapytania, wtedy można rozbić na wiele low-endowych maszyn.

 

Czy możesz zaproponować jakieś rozwiązanie które pozwala PRZEŹROCZYŚCIE skalować postgresa na wiele maszyn ?

(mam na myśli przeźroczyście dla aplikacji która korzysta z bazy)

[Misiek08 285]

https://wiki.postgresql.org/wiki/Postgres-XC to jest jedna z możliwości, ale nie wiem czy wspiera wszystko czego wymaga Twoja aplikacja.

 

Rozumiem, że po stronie aplikacji i bazy optymalizacja już zrobiona i nie da się wcześniej danych agregować i raportować do osobnych zasobów, żeby odpytywać już mniejszy zestaw danych?

[mmat 0]

https://wiki.postgresql.org/wiki/Postgres-XC to jest jedna z możliwości, ale nie wiem czy wspiera wszystko czego wymaga Twoja aplikacja.

 

Rozumiem, że po stronie aplikacji i bazy optymalizacja już zrobiona i nie da się wcześniej danych agregować i raportować do osobnych zasobów, żeby odpytywać już mniejszy zestaw danych?

 

Już jakiś czas temu widziałem ten projekt - ale jakoś nie zainteresowałem się nim wtedy.

A tak z ciekawości zapytam - używasz go ?

 

Tak - wszelki możliwy preprocessing jest oczywiście wykonywany. Niestety w przypadku większości zapytań nie da się go wykorzystać (zapytania używają wiele różnych kombinacji kryteriów dot. wielu pól).

[Gość mariaczi]

Niestety w przypadku większości zapytań nie da się go wykorzystać (zapytania używają wiele różnych kombinacji kryteriów dot. wielu pól).

Wygląda mi to, na coś w deseń BI.

[mmat 0]

Wygląda mi to, na coś w deseń BI.

 

Dokładnie.

[Misiek08 285]

Montowałem tylko 1 bazę ponad 1TB i uruchamialiśmy to na.... Mongo! Potem przejście na CouchDB ze względu na widzi mi się deweloperów tamtej aplikacji.

 

Nie wyobrażam sobie skalowania do takich rozmiarów typowego SQLa, bo np. joiny i transakcje były by dość zaawansowanymi operacjami.

 

Edit:

MapReduce to potęga w takich przypadkach.

Edytowano Maj 20, 2014 przez Misiek08 (zobacz historię edycji)

[elcct 159]

Montowałem tylko 1 bazę ponad 1TB i uruchamialiśmy to na.... Mongo! Potem przejście na CouchDB ze względu na widzi mi się deweloperów tamtej aplikacji.

 

Nie wyobrażam sobie skalowania do takich rozmiarów typowego SQLa, bo np. joiny i transakcje były by dość zaawansowanymi operacjami.

 

Edit:

MapReduce to potęga w takich przypadkach.

 

Niestety ale SQL albo rozwiązania na Cassandrze lub Hadoop/Hive bardziej się nadają do większych baz. Ja sobie nie wyobrażam dużej bazy na Mongo, a w szczególności map reduce na niej, gdzie baza zwykle leży na czas zapytania.

Czy możesz zaproponować jakieś rozwiązanie które pozwala PRZEŹROCZYŚCIE skalować postgresa na wiele maszyn ?

(mam na myśli przeźroczyście dla aplikacji która korzysta z bazy)

 

Niestety nie znam. Coś podobnego istnieje do bazy MySQL (vitess) ale jeszcze nie weszło w fazę produkcyjna. W każdym razie ciekawy projekt napisany w Go, polecam śledzić.

[Misiek08 285]

Cassandra tak, Hadoop/Hive to już trzeba mieć przypływ 1GB/h+, to wtedy ma sens żeby takiego kombajna zapuszczać.

 

Jeżeli chodzi o Mongo to na szczęście MapReduce było mało, zapytania były tak zrobione, żeby odptywyać bez relacji, a nawet jeśli były relacje to po prostu - rozbicie na kilka zapytań, które i tak były szybsze niż duża baza na SQL.

 

Jednak nasze rozwiązania nie pozostaną przeźroczyste, chyba że do NoSQL'a dopisać serwer, który dostaje SQL i przerabia na Cassandrowo-Hadoopowe zapytania.

[mmat 0]

Osobiście nie miałem do czynienia z bazami No-SQL. SQL-a używam od wieków i on naprawdę baardzo szybko działa - pod warunkiem że:

- wiesz co robisz, wiesz jak optymalnie napisać zapytanie

- masz odpowiednią strukturę bazy i indeksy,

- odpowiednio skonfigurowałeś serwer - w przypadku postgresa to jest bardzo ważne,

- no i oczywiście chodzi to na odpowiednim sprzęcie

 

Niestety zaczynając projekt lata temu - nikt nie przewidywał że rozrośnie się on do takich rozmiarów. Obecnie przepisanie warstwy danych z użyciem MapReduce, partycjonowania - zajęło by sporo czasu - więc znacznie tańsza będzie inwestycja w hardware

 

Natomiast gdybym miał dzisiaj zmieniać architekturę - to bym nie wykorzystywał żadnej bazy - tylko napisał własną - idealnie dostosowaną do tego projektu - cholernie szybką i rozproszoną. Coś podobnego na kształt Terracota BigMemory - ale szybsze

Montowałem tylko 1 bazę ponad 1TB i uruchamialiśmy to na.... Mongo! Potem przejście na CouchDB ze względu na widzi mi się deweloperów tamtej aplikacji.

Nie wyobrażam sobie skalowania do takich rozmiarów typowego SQLa, bo np. joiny i transakcje były by dość zaawansowanymi operacjami.

Edit:
MapReduce to potęga w takich przypadkach.

 

Zdziwiłbyś się jak szybko działają joiny SQL-owe pod warunkiem że właściwie je wykonujesz (punkty napisane przeze mnie powyżej).

Yahoo ma bazy na postgresie do 2 PB (tak PetaBajty).

http://www.computerworld.com/s/article/9087918/Size_matters_Yahoo_claims_2_petabyte_database_is_world_s_biggest_busiest?taxonomyId=18&intsrc=hm_topic

[elcct 159]

 

Natomiast gdybym miał dzisiaj zmieniać architekturę - to bym nie wykorzystywał żadnej bazy - tylko napisał własną - idealnie dostosowaną do tego projektu - cholernie szybką i rozproszoną. Coś podobnego na kształt Terracota BigMemory - ale szybsze

 

 

Są teraz ciekawe opcje do pisania baz pod konkretny projekt w Go przy użyciu np. Raft, LevelDB itd.

[theONE 526]

O rozwiązanie na Intelu znalazłem:

http://www.supermicro.com/products/system/2U/2028/SYS-2028UT-BTNRT.cfm

 

Jeden uzupełniasz komponentami drugi trzymasz jako backup