Skocz do zawartości
steven

Jak Wygladaja Serwery Uzywane Przez Google

Polecane posty

Od jakiegos czasu intrygowal mnie w/w temat - zakolokowac kilkadziesiat tysiecy serwerow (fizycznych) w kilkunastu roznych DC na swiecie to nie lada wyzwanie.. Google nigdy oficjalnie nie pokazalo zdjec swoich serwerow DC, w kilku artykulach na ten temat zawsze byla informacja ze dostep do room'ow w dc, gdzie stoi google jest baardzo mocno chroniony..

 

W artykulach tych jednak byla wielokrotnie powtarzana informacja ze uzywaja tanich i seryjnych komponentow (ze zwyklego PC'ta) co od razu odrzucalo uzycie blade (ktore nie sa ani tanie ani standardowe w swej konstrukcji)... W jednym artykule znalazlem nazwe firmy, ktora jest dostawca sprzetu a w drugim informacje ze mieszcza w jednej szafie rackowalnej 88 dwuprocesorowych serwerow (co samo w sobie jest juz duzym szokiem, bo szafa majaca 42U wysokosci miesci maksymalnie 40 serwerow i jakis 1/2 switche na gorze)...

 

Te informacje pozwolily namierzyc firme i co wazniejsze produkt, ktory uzywa google.. Serwery maja wysokosc leciutko wieksza niz 1.5U, ale uwaga: sa polowicznej szerokosci i glebokosci. Co umozliwia ulozenie serwerow w 2 rzedach z kazdej strony szafy jeszcze z zostawieniem miejsca na osprzet sieciowy..

 

Wdl. Opisu do srodka pojedynczego serwera wchodzi normalna plyta Extended ATX, z 2 procesorami (Intel, AMD, Itanium do wyboru) i 2 normalnymi dyskami SATA/SCSI, zasilacz i cooler (jedyne elementy, ktore sa specjalnie wybrane pod ta konstrukcje)..

 

Bardzo ladne zdjecie szafy z tymi serwerami mozna zobaczyc na:

 

http://www.tgdaily.com/2004/08/11/amd_take...tion/page2.html

 

informacja samego producenta:

http://www.rackable.com/products/dsheet_pd..._ScaleOutDS.pdf

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Zapominasz o dużej ilości maszyn na starych, dobrych P3, z których korzysta google. Ze względów relacji energia/wydajność oczywiście.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
A wiesz w jakich DC sie kolokuja? :)

 

Niestety w zadnym z Polskich :)

 

Zapominasz o dużej ilości maszyn na starych, dobrych P3, z których korzysta google. Ze względów relacji energia/wydajność oczywiście.

 

Wbrew pozorom na PIV/Xeonach/AMD/Opteronach mozna zrobic maszyny ktore nie pobieraja duzo energi.. Wszystkie te procesory maja wersje Low Voltage, ktore maja zmniejszony pobor mocy srednio o polowe. Sa one troche drozsza od normalnych wersji i niestety czesto nie sa dostepne na wolnym rynku (jedynie duze zamowienia dla duzych OEM'ow) - jednak dla google i firm, ktore robia sprzet dla google to nie jest raczej problem...

 

Inna kwestia jest to ze okolo 1/3 ciepla z serwera 1U to nie jest procesor/chipset/dysk twardy a jedynie zasilacz, na ktorym sa duze straty. Upchanie zasilacza 300-400 wat w tak mala powierzchnie jest nie lada zadaniem konstrukcyjnym, ktore udalo sie zrealizowac kosztem strat/grzenia sie..

 

Problem ten jest rozwiazany w blade'ach, gdzie uzywa sie 1/2 duzych zasilaczy (1-2 KW), ktore przy normalnych rozmiarach, innej konstrukcji i duzo mniejszym zapasie mocy niz np. w 10 rownorzednych zasilaczach 300-400 wat, nie generuja juz takich strat.

 

W przypadku tych serwerkow co uzywa google, producent na WWW pisze ze poleca zasilanie napieciem stalym 48V, ktore jest czyms normalnym w DC (caly sprzet telco zazwyczaj pracuje z takim napieciem) - wtedy ilosc wydzielanego ciepla przez serwery jest mniejsza o 20%..

 

Cala sytuacja dot. grzenia zmieni sie za pol roku - kiedy Intel wypusci desktopowa i serwerowa wersje swojego najnowszego dziecka: procesora Yonah (znanego tez jako Core Duo). Ten dwu rdzeniowy procesor, bazujacy na konstrukcji Centrino calkowicie zmienia podejscie Intela do tematu wydajnosci per Hz oraz wydajnosci per Wat. Dwurzdzeniowo Core Duo o czestotliwosci 2.3 GHz zawsze miesci sie w 35 Watach energi pobieranej (a sredni pobor jest duzo nizszy). Intel w ciagu roku chce wyciachac calkowicie z rynku PIV i Xeony - wszystko zastapic wlasnie tymi procesorami, ktore jak by nie patrzec swoja protoplaste maja dokladnie w PIII/Centrino.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
Niestety w zadnym z Polskich :)

Tyle to ja wiem... Moze cos konkretniejszego? :)

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Czytałem kiedyś artykuł o topologii ich sieci i sprzęcie, ale teraz za cholerę nie mogę znaleźc...

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
Tyle to ja wiem... Moze cos konkretniejszego? :)

 

Google nie uzywa jednego DC - ich serwery sa rozmieszczone w kilkudziesieciu roznych lokalizacjach na swiecie. Co wazniejsze nie tworza one jednego spojnego clustra - tak naprawde jest wiele googlow, kazdy osobno pracuje, rozwija swoja baze (przez indexowanie sieci), aktualizuje i odpowiada na zapytania. Pomiedzy tymi clustrami wysylane sa informacje, ale glownie to jest statystyka oraz zarzadzanie - nie same tresci baz...

 

Z takiej budowy wynika znany webmasterom "taniec google" - polegajacy na to ze jak sie zrobi jakies zmiany na WWW (szczegolnie pod SEO) to raz je widac na googlu, polgodziny pozniej (albo z innego komputera) jeszcze ich nie ma... Po prostu uzytkownicy lacza sie z roznymi clustrami google, ktore osobno pracuja/aktualizuja sie..

 

Z tego tez wynika dosc niska dokladnosc narzedzi typu Adwords, gdzie np. proba wycenienia zapytania oraz okreslenia jak czesto jest ono wpisywane przez userow jest oparte bardziej na wrozeniu (naukowcy nazywaja to statystyka) niz realnych danych z wszystkich DC...

 

Jezeli chcesz znac konkretne lokalizacje DC - to musisz niestety sobie ich poszukac... Mnie bardziej interesowalo czego oni uzywaja, jak tym administruja i jak to wogole dziala niz gdzie dokladnie to stoi. Zreszta takie lokalizacje sa zazwyczaj top-secret.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Równie sensowne, co odkrywcze stwierdzenie, że google ma więcej, niż jedno DC... To jest bardziej, niż oczywiste. Tak samo jak to, że przy takiej ilości danych poszczególne centra nie mogą być w pełni zsynchronizowane, stąd róznice.

 

Więcej informacji o googlu można wygooglować: http://www.semonitor.com/google_data_centers.html tutaj np.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Shive, bez urazy, ale dla mnie te posty są sto razy ciekawsze niż kolejne dyskusje o wyższości XXX nad Home.pl.. Jeśli Ci się nie podoba - nie czytaj i nie komentuj bez sensu.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Z ciekawostek - udalo mi sie znalezc zdjecie jeszcze innego site google, gdzie widac ze uzywaja jeszcze innej konstrukcji. 20 serwerow po 2U kazdy, z kazdej strony szafy - co daje 40 serwerow + osprzet sieciowy powieszony na polowie wysokosci szafy (widac duza wiazke ethernetow) per szafa (a wlasciwie samo ramie szafy).

 

Najciekawsze jest to ze serwery nie maja obudow - widac ze plyta glowna razem z reszta bebechow (dysk, zasilacz) ulozone sa na metalowej polce, ktora ma specjalne otwory/zapiecia na kazdy z elementow.... Sama konstrukcja szafy zapewnia dystrybucje kabli zasilajacych i ethernetu.

 

Szkoda ze zdjecie skupia sie na jakims ludku, ktory tam pracuje a nie na samych serwerach - pod innym katem, fajniej by to wygladalo..

 

gdtc2.jpg

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
kolejne dyskusje o wyższości XXX nad Home.pl.

 

Nie podoba się, to nie czytaj i nie komentuj bez sensu...

 

Tą fotkę skądś już znam... zawsze miałem głupie wrażenie, że korytarze między szafami są znacznie za wąskie :) Gdyby tak zainstalować na tym SETI...

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
Nie podoba się, to nie czytaj i nie komentuj bez sensu...

 

Gdybyś nie zauwazył nie zdarzyło mi się skomentować Twoich wielko-developerskich wywodów w opisanych wyżej tematach :). Jeśli zwrócenie uwagi przez dwóch użytkowników z dłuższym stażem na Ciebie nie działa może czas najwyższy żeby zaczął działać jakiś moderator. Mam wrażenie, że na WHT powinno być podobne ograniczenie wiekowe jak na możliwość wejścia do Lolka.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Ale jestem ciekaw gdyby mieli brak prądu...

Wszystie serwery by stanęły :)

Dopiero było by zamieszanie.

 

Gdybyś nie zauwazył nie zdarzyło mi się skomentować Twoich wielko-developerskich wywodów w opisanych wyżej tematach wink.gif. Jeśli zwrócenie uwagi przez dwóch użytkowników z dłuższym stażem na Ciebie nie działa może czas najwyższy żeby zaczął działać jakiś moderator.

Masz najwięcej postów na tym forum... Ciekawe czemu TY jeszcze nie jesteś modem :]

 

Niewiem czemu się tak denerwujesz, ale nie widzę powodów do karania lub zwracania w jakikolwiek sposób uwag shive.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Nikogo nie chce bronic, ale akurat shive w kazdym mozliwym temacie ujawnia to, ze nie pasuje mu home.pl nawet jesli dotyczy datacenter google.. a teraz chyba mozna wrocic do tematu :):).

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Tiaa. Co do braku prądu - od tego są już agregaty prądotwórcze, często zajmujące osobny budynek o wielkiej powierzchni (chociaż jak pokazują przypadki ThePlanet wypada jeszcze czasami sprawdzić czy to działa :)).

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
Ale jestem ciekaw gdyby mieli brak prądu...

Wszystie serwery by stanęły :)

Dopiero było by zamieszanie.

Spokojna głowa. Przecież w takich DC mają generatory prądotwórcze,

a oprócz tego wielkie UPS-y które podtrzymują wszystko do czasu

włączenia się tych 1-szych.

Swoją drogą to ja sobie nie wobrażam dnia bez Google. :)

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Taa, nawet był kiedyś taki wątek na WHT... przy tych huraganach. Pisali wtedy, że w razie zagrożenia, to raczej tam należy się kryć, a nie bać się, że coś walnie w DC :)

 

Swoją drogą, ciekawe czemu jest takie małe zainteresowanie DC ze strony terrorystów :> Nie wydaje mi się, żeby były aż tak dobrze chronione przed nietypowymi atakami...

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

To terrorystą nie zależy na śmierci społeczności internetowej, ale na śmierci prawdziwych ludzi.

 

A co pewnie chętnie byś odpalił bazukę w takie pułeczki :>?

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Oj. Rzeczywiście... Ben Laden o czymś zapomniał.

Lecę mu maila wysłać. :)

A tak na poważnie, to przecież kluczowe DC(banki, służby specjalne itp.) są na pewno dość dobrze chronione,

a maszyny hostingowe to taki w sumie nijaki cel. Oczywiście tak z grubsza uogólniając.

 

P.S. Rzecz jasna nie byłbym zbyt szczęsliwy, gdyby kiedyś jakiś młotek wysadził DC od którego podnajmuję serwer.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Może i nijaki politycznie, ale gdybyś chciał zrobić na złość "niewiernemu zachodowi", to atak na DC byłby wyśmienitym pomysłem.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach
Może i nijaki politycznie, ale gdybyś chciał zrobić na złość "niewiernemu zachodowi", to atak na DC byłby wyśmienitym pomysłem.

Niewierny Bellerofont też by się wkurzył.

Jakby Google padło, to miałbym niezły problem z wynajdywaniem nowych źródeł wiedzy,

a na kupowanie książki za książka to mnie raczej nie stać.

Z resztą nie mam ich gdzie już trzymać. :)

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Bądź aktywny! Zaloguj się lub utwórz konto

Tylko zarejestrowani użytkownicy mogą komentować zawartość tej strony

Utwórz konto

Zarejestruj nowe konto, to proste!

Zarejestruj nowe konto

Zaloguj się

Posiadasz własne konto? Użyj go!

Zaloguj się


×