8 odpowiedzi na ten temat

[Devil]

Chcę poruszyć takie moje drobne uwagi na temat chłodzenia serwerów. Postanowiłem postawić w domu jednostkę do zdalnej pracy do grafiki CAD.

Niestety - 2 Radony 6970 (referencyjne), procesor przekręcony do 4.8GHz, jeden dysk SSD, 5 zwykłych talerzy, obudowa full-tower, dużo wentylatorów - niestety małych (średnica) zamiast kilku porządnych.

Wszystko na dało efekt - "pralki z piecem" pod nogami

Zainteresowałem się chłodzeniem LC - wybrałem dobre komponenty firmy EK Water. Chłodzenie wodne utrzymywało dobrą temperaturę przy niskim poziomie hałasu.

Jednak to mi nie dało spokoju - skoro procesory działają przy ciekłym azocie to czemu by nie doprowadzić do sytuacji gdzie procesor zawsze działa w temperaturze poniżej zera ?

Znalazłem w internecie info na temat Efekt Peltiera (zaobserowane w 1834 roku przez Jeana Peltiera) - szukałem tego modułu.

Znalazłem http://www.digitalst...?id=615823#tab3 - to PC który utrzymuje procesor poniżej zera.

Zbudowałem coś podobnego na komponentach EK oraz innym module Peltiera.

Koszt to około 1500 zł na serwer.

Moje pytanie jest następujące.

Zestawy LC, moduł Peltiera - co prawda zużycie prądu przez moduł i zestaw jest większe. Ale tak naprawdę jesteśmy w stanie budować ogromne zestawy LC opierające się na jednej szafie bez klimatyzacji. Żywotność/awaryjność - na to też wpływamy dość znacząco. Pełne obciążenie nie wpływa na zmianę temperatur - nadal można ją trzymać poniżej zera.

Co myślicie o wykorzystaniu zestawów LC do serwerów ? Na uczelni storzyłem drobny projekt ekoserwerowni. Jedna szafa bez klimatyzacji moduł na module (serwer na serwerze) Nie typowe rackowe ułożenie. - kieruje to do osób które mają doświadczenie na WHT i działają w hostingu

// Edit

Trochę źle opisałem

W skrócie. Jedna szafa w której mieści się duża ilość serwerów. Stawiamy ją w każdym miejscu - podłączamy internet, prąd i nie martwimy się o stan chłodzenia i konserwacji podzespołów (chłodzenie wodne + filtry kurzowe). Co do zarządzania to pomnimy je na razie bo tutaj też mam inny pomysł.

Ten post był edytowany przez Devil dnia: 29 styczeń 2012 - 04:06

[xorg]

Coś poza CPU tak chłodzisz ?

[Devil]

Tak,
- CPU (przykład: http://www.ekwaterbl...r_front_600.jpg),
- Full Cover Blocks - GPU(przykład: http://www.ekwaterbl...5-GTX_Front.jpg)
- Full Board Water Blocks (przykład: http://www.ekwaterbl..._Classified.jpg)
- Chipset Water Blocks (przykład: http://www.ekwaterbl...SB-5-Acetal.jpg),
- Mosfet Water Blocks (przykład: http://www.ekwaterbl...-KIT-Acetal.jpg)
- dodatkowo dyski na nawiewach mojego pomysłu
- moduł Air na pamięć RAM (planuje RAM też chłodzić cieczą)

Oczywiście cały układ wodny połączyłem do chłodnicy z kolejnym modulem Peltiera. Więc przepływ jest naprawdę na niskich temperaturach. CPU ma własny moduł dlatego tylko CPU jest poniżej zera.

Przez tak dużą ilość punktów gdzie ciepło jest oddawane niemal cała powierzchnia płyty jest zimna.

Teoretycznie moja szafa jest wielkości średniej drukarki - działają tam 2 serwery (i7x @OC, 2x 6970). Leży na środku domu. Zero hałasów i ciepła.

Może trochę głupio poruszam temat - ale wg. mnie ciekawym rozwiązaniem jest wbudować klimatyzację w serwer - nie korzystając DC. Czyli do warunków domowych. Kwestię zarządzania od strony administratora i czujników pożarowych też udało mi się ogarnąć. Ale to na razie pomijamy.

Ten post był edytowany przez Devil dnia: 29 styczeń 2012 - 10:14

[irvinek]

Z tego co pamiętam moduł Peltiera jest mało wydajny i nie opłaca sie go używać.

[pietrovek]

zasadniczo także dosyć niskie koszta instalacji -> http://allegro.pl/li...string=peltiera podłożyć pod blok wodny, do wody dodać glikolu i zamiast 6000$ zapłacimy znacznie mniej... problem tylko wtedy gdy np. pompka wody stanie... więc żeby to zastosować w instalacji serwerowej trzeba by nad "mocnym" monitoringiem popracować.

Trzebaby jeszcze wziąć pod uwagę żywotność ogniw (200 000h) - jak ogniwo by się zepsuło byłoby znacznie gorzej - nagle np. procesor pozostalby bez chłodzenia a zepsute ogniwo zadziałałoby jak izolator między CPU a blokiem wodnym...wtedy najprawdopodobniej procek szybko osiągnąłby krtyczne temp.

Ten post był edytowany przez pietrovek dnia: 31 styczeń 2012 - 08:26

[theONE]

Do profesjonalnego zastosowania coś takiego ma tylko szansę na wykorzystanie w bardzo dużej skali jako rozwiązanie custom kiedy zamawiasz serwery zrobione pod projekt (zakup ponad 500 sztuk budy). Inaczej proste małe problemy zabiją projekt. Nie wiem jak wygląda kwestia sprawności energetycznej rozwiązania, czy taniej w przeliwczeniu na ogólne zurzycie prądu

Problemy i pytania czyli krytyka :
- utrata gwarancji na sprzęt
- konieczność demontowania/modyfikacji waitraków itd a co za tym idzie modyfikacji BIOSówi oprogramowania różnych elementów serwara (inaczej będą sypać błędami)
- kiepsko z redundancją, w normalnym serwerze awaria jednego elementu chłodzącego (jak jeden wiatrak) nie powoduje konieczności natychmiastowego wyłączenia całego serwera. Tutaj po awarii jednego modułu serwer musi zostać wyłączony. Dodatkowo trzeba mieć dodatkowe monitorowanie niektórych elementów jak mostki czy dyski bo podstawowe polegające na monitorowaniu temperatury we wnętrzu obudowy nie zdaje egzaminu
- odpada w gęstych zastosowaniach, w takich serwerach nie ma juz miejsca na dodatkowe moduły
- wprowadzanie wody do DC kiedy wyciek może kosztować całą szafę sprzętu (czyli np 200 000 zł) jest mocno ryzykowne, przy takiej ilości połączeń
- niewiadomo jak zachowają się elementy płyt po ciepłej stronie płytki, może się okazać że długotrwałe nagrzewanie bardzo obniża żywotność

- ekologiczność serwerowni mieży się ilością zużywanej energii, to rozwiązanie zużywa jej więcej niż sandardowe metody chłodzenia

[Devil]

// Na szbko

Hmmm .. cóż theONE ślicznie dziękuje - konkretny post który oczekiwałem w tym temacie.

Co do przerw - teoretycznie jeżeli utrzymujemy stały porządek wymiana płynów oraz konserwacja to kwestia 2-3 minut gdzie procesor nie odczuje zmian. Blok wodny przez taki czas utrzyma swoją temperaturę.

Co do ogniw, pomp, chłodnic. System ma 3 pompy - które mogą pracować niezależnie. Podczas awarii są w stanie przełączyć się automatycznie. Ogniwa również zaprojektowane są w kilku sztukach tak aby wymienić je podczas ciągłej pracy. Chłodnice są zewnętrzne na ten moment ale zostaną zamontowane w środku.

Wszystko jest w kilku sztukach - pracuje niezależnie, wymiany są niezależne. Oczywiście są też moduły podłożone pod blok - one również mają bardzo prosty system wymiany podczas pracy. Bardziej skupiłem się na chłodzeniu samej cieczy niż bezpośrednim kontakcie z modułem.

Co do monitoringu - ciśnienie w przewodach, flow (przepływ wody), temperatura cieczy, para - naprawę wszystko można kontrolować + elektryczne zawory do regulacji.

theOne - Jeśli weźmiemy pod uwagę niezawodność, to wentylatory padają po nawet 2-3 latach itp. A moja lodówka działa już z 15 lat, jak nie więcej:)

Hmmm .... ale czy nie było by możliwości przerobienia agregatu z lodówek na system chłodzenia ? Żywotność nawet do 10 lat, niskie temperatury - nie wiem jak z hałasem

Oczywiście problemem jest skraplaniem - ale płytę można pokryć ochronną warstwą.

Oczywiście tego rodzaju serwer nie powinien mieć żadnych części ruchomych - skraplanie + temperatury minusowe. Jeżeli chodzi o pamięć wyłącznie dyski SSD. Ja zastosowałem drogie rozwiązanie pamięci SSD w porcie PCI-E - stworzyłem specjalną obudowę itp. ( mówię o dyskach OCZ - teoretycznie Read: Up to 1500 MB/s | Write: Up to 1300 MB/s )

Co prawda ta zabawa kosztuje mnie już któryś tysiąc - naprawdę nie mam siły już liczyć. Zepsuje frajdę.

Komputer wykorzystuje ciągłą pracą 100 % obciążenia więc teoretycznie o wiele gorsze warunki niż serwery. Pracuje w pewnym stopniu jako animator techniczny więc renderuje się tutaj kilkanaście bardzo długich projektów w 4k i 1080p.

OCZYWIŚCIE, takie zabawy są wyłącznie dla ludzi którzy interesują się tym trochę poważniej. Radę nie słuchać moich porad - bardzo łatwo uszkodzić sporo elementów

Ale trzeba przyznać że efekt końcowych takich zabaw jest niesamowity - http://i277.photobuc...GA-x2CPU-02.jpg

Jak macie chwilę - zobaczcie sobie 27 stron (tak szybko, głównie obrazki) tego tematu na forum: http://forum.pclab.p...C-DARK-Project/

theOne - gwarancja hmmm karty z chłodzeniem referencyjnym, intel daje nawet specjalne gwarancje OC. Po spaleniu dostaje 2 procesor. - ja myślę że tu nie ma problemu. Płyty główne są z serii przeznaczonych do OC i zestawów LC.

- ekologiczność serwerowni mieży się ilością zużywanej energii. Cóż ... abym wychłodził zestaw obciążony 100% przez kilka tygodni wydałbym 2 razy więcej na kilka serwerów z chłodzeniem powietrznym.

// Edit

- niewiadomo jak zachowają się elementy płyt po ciepłej stronie płytki, może się okazać że długotrwałe nagrzewanie bardzo obniża żywotność

Z tym problemem dawno sobie zaradzono. używając tylnych podkładek pod blok - również zabierają trochę zimna na tył. Wiele testów wykazało żywotność niemal 300% większą - wszystko pracuje w idealnych temperaturach testowych (zestawy LC)

Ten post był edytowany przez Devil dnia: 31 styczeń 2012 - 14:38

[theONE]

Jak sie bawisz w takie wynalazki weź poczytaj a potem zrób system w którym serwery trzyma się pod olejem w szafach które leżą na podłodze a serwery mocuje sie do racka poziomo. Takie systemu istnieją i mają racje ekonomiczną. To co proponujesz to zbytnie dokładanie urządzeń, komplikacja ksoztuje.