66 odpowiedzi na ten temat

[steven]

Od jakiegos czasu intrygowal mnie w/w temat - zakolokowac kilkadziesiat tysiecy serwerow (fizycznych) w kilkunastu roznych DC na swiecie to nie lada wyzwanie.. Google nigdy oficjalnie nie pokazalo zdjec swoich serwerow DC, w kilku artykulach na ten temat zawsze byla informacja ze dostep do room'ow w dc, gdzie stoi google jest baardzo mocno chroniony..

W artykulach tych jednak byla wielokrotnie powtarzana informacja ze uzywaja tanich i seryjnych komponentow (ze zwyklego PC'ta) co od razu odrzucalo uzycie blade (ktore nie sa ani tanie ani standardowe w swej konstrukcji)... W jednym artykule znalazlem nazwe firmy, ktora jest dostawca sprzetu a w drugim informacje ze mieszcza w jednej szafie rackowalnej 88 dwuprocesorowych serwerow (co samo w sobie jest juz duzym szokiem, bo szafa majaca 42U wysokosci miesci maksymalnie 40 serwerow i jakis 1/2 switche na gorze)...

Te informacje pozwolily namierzyc firme i co wazniejsze produkt, ktory uzywa google.. Serwery maja wysokosc leciutko wieksza niz 1.5U, ale uwaga: sa polowicznej szerokosci i glebokosci. Co umozliwia ulozenie serwerow w 2 rzedach z kazdej strony szafy jeszcze z zostawieniem miejsca na osprzet sieciowy..

Wdl. Opisu do srodka pojedynczego serwera wchodzi normalna plyta Extended ATX, z 2 procesorami (Intel, AMD, Itanium do wyboru) i 2 normalnymi dyskami SATA/SCSI, zasilacz i cooler (jedyne elementy, ktore sa specjalnie wybrane pod ta konstrukcje)..

Bardzo ladne zdjecie szafy z tymi serwerami mozna zobaczyc na:

http://www.tgdaily.com/2004/08/11/amd_take...tion/page2.html

informacja samego producenta:
http://www.rackable.com/products/dsheet_pd..._ScaleOutDS.pdf

[p]

A wiesz w jakich DC sie kolokuja?

[shive]

Zapominasz o dużej ilości maszyn na starych, dobrych P3, z których korzysta google. Ze względów relacji energia/wydajność oczywiście.

[steven]

p, o 25.02.2006, 15:53, powiedział:

A wiesz w jakich DC sie kolokuja?

Niestety w zadnym z Polskich

shive, o 25.02.2006, 15:56, powiedział:

Zapominasz o dużej ilości maszyn na starych, dobrych P3, z których korzysta google. Ze względów relacji energia/wydajność oczywiście.

Wbrew pozorom na PIV/Xeonach/AMD/Opteronach mozna zrobic maszyny ktore nie pobieraja duzo energi.. Wszystkie te procesory maja wersje Low Voltage, ktore maja zmniejszony pobor mocy srednio o polowe. Sa one troche drozsza od normalnych wersji i niestety czesto nie sa dostepne na wolnym rynku (jedynie duze zamowienia dla duzych OEM'ow) - jednak dla google i firm, ktore robia sprzet dla google to nie jest raczej problem...

Inna kwestia jest to ze okolo 1/3 ciepla z serwera 1U to nie jest procesor/chipset/dysk twardy a jedynie zasilacz, na ktorym sa duze straty. Upchanie zasilacza 300-400 wat w tak mala powierzchnie jest nie lada zadaniem konstrukcyjnym, ktore udalo sie zrealizowac kosztem strat/grzenia sie..

Problem ten jest rozwiazany w blade'ach, gdzie uzywa sie 1/2 duzych zasilaczy (1-2 KW), ktore przy normalnych rozmiarach, innej konstrukcji i duzo mniejszym zapasie mocy niz np. w 10 rownorzednych zasilaczach 300-400 wat, nie generuja juz takich strat.

W przypadku tych serwerkow co uzywa google, producent na WWW pisze ze poleca zasilanie napieciem stalym 48V, ktore jest czyms normalnym w DC (caly sprzet telco zazwyczaj pracuje z takim napieciem) - wtedy ilosc wydzielanego ciepla przez serwery jest mniejsza o 20%..

Cala sytuacja dot. grzenia zmieni sie za pol roku - kiedy Intel wypusci desktopowa i serwerowa wersje swojego najnowszego dziecka: procesora Yonah (znanego tez jako Core Duo). Ten dwu rdzeniowy procesor, bazujacy na konstrukcji Centrino calkowicie zmienia podejscie Intela do tematu wydajnosci per Hz oraz wydajnosci per Wat. Dwurzdzeniowo Core Duo o czestotliwosci 2.3 GHz zawsze miesci sie w 35 Watach energi pobieranej (a sredni pobor jest duzo nizszy). Intel w ciagu roku chce wyciachac calkowicie z rynku PIV i Xeony - wszystko zastapic wlasnie tymi procesorami, ktore jak by nie patrzec swoja protoplaste maja dokladnie w PIII/Centrino.

[shive]

A to ciekawe, bo jak na razie Intel nie zachwyca...

[p]

steven, o 25.02.2006, 14:21, powiedział:

Niestety w zadnym z Polskich

Tyle to ja wiem... Moze cos konkretniejszego?

[shive]

Czytałem kiedyś artykuł o topologii ich sieci i sprzęcie, ale teraz za cholerę nie mogę znaleźc...

[steven]

p, o 25.02.2006, 16:45, powiedział:

Tyle to ja wiem... Moze cos konkretniejszego?

Google nie uzywa jednego DC - ich serwery sa rozmieszczone w kilkudziesieciu roznych lokalizacjach na swiecie. Co wazniejsze nie tworza one jednego spojnego clustra - tak naprawde jest wiele googlow, kazdy osobno pracuje, rozwija swoja baze (przez indexowanie sieci), aktualizuje i odpowiada na zapytania. Pomiedzy tymi clustrami wysylane sa informacje, ale glownie to jest statystyka oraz zarzadzanie - nie same tresci baz...

Z takiej budowy wynika znany webmasterom "taniec google" - polegajacy na to ze jak sie zrobi jakies zmiany na WWW (szczegolnie pod SEO) to raz je widac na googlu, polgodziny pozniej (albo z innego komputera) jeszcze ich nie ma... Po prostu uzytkownicy lacza sie z roznymi clustrami google, ktore osobno pracuja/aktualizuja sie..

Z tego tez wynika dosc niska dokladnosc narzedzi typu Adwords, gdzie np. proba wycenienia zapytania oraz okreslenia jak czesto jest ono wpisywane przez userow jest oparte bardziej na wrozeniu (naukowcy nazywaja to statystyka) niz realnych danych z wszystkich DC...

Jezeli chcesz znac konkretne lokalizacje DC - to musisz niestety sobie ich poszukac... Mnie bardziej interesowalo czego oni uzywaja, jak tym administruja i jak to wogole dziala niz gdzie dokladnie to stoi. Zreszta takie lokalizacje sa zazwyczaj top-secret.

[shive]

Akurat to co napisałeś to wiadomo nie od dziś...

[hyhyhy]

@shive, bez urazy - bezsensowne posty ;-) Pozdr.

[shive]

Równie sensowne, co odkrywcze stwierdzenie, że google ma więcej, niż jedno DC... To jest bardziej, niż oczywiste. Tak samo jak to, że przy takiej ilości danych poszczególne centra nie mogą być w pełni zsynchronizowane, stąd róznice.

Więcej informacji o googlu można wygooglować: http://www.semonitor...ta_centers.html tutaj np.

[patryk]

Shive, bez urazy, ale dla mnie te posty są sto razy ciekawsze niż kolejne dyskusje o wyższości XXX nad Home.pl.. Jeśli Ci się nie podoba - nie czytaj i nie komentuj bez sensu.

[steven]

Z ciekawostek - udalo mi sie znalezc zdjecie jeszcze innego site google, gdzie widac ze uzywaja jeszcze innej konstrukcji. 20 serwerow po 2U kazdy, z kazdej strony szafy - co daje 40 serwerow + osprzet sieciowy powieszony na polowie wysokosci szafy (widac duza wiazke ethernetow) per szafa (a wlasciwie samo ramie szafy).

Najciekawsze jest to ze serwery nie maja obudow - widac ze plyta glowna razem z reszta bebechow (dysk, zasilacz) ulozone sa na metalowej polce, ktora ma specjalne otwory/zapiecia na kazdy z elementow.... Sama konstrukcja szafy zapewnia dystrybucje kabli zasilajacych i ethernetu.

Szkoda ze zdjecie skupia sie na jakims ludku, ktory tam pracuje a nie na samych serwerach - pod innym katem, fajniej by to wygladalo..

[bellerofont]

Chciałbym mieć tylko dla siebie chociaż jedną taką szafę.

[shive]

Cytuj

kolejne dyskusje o wyższości XXX nad Home.pl.

Nie podoba się, to nie czytaj i nie komentuj bez sensu...

Tą fotkę skądś już znam... zawsze miałem głupie wrażenie, że korytarze między szafami są znacznie za wąskie Gdyby tak zainstalować na tym SETI...

[patryk]

Cytuj

Nie podoba się, to nie czytaj i nie komentuj bez sensu...

Gdybyś nie zauwazył nie zdarzyło mi się skomentować Twoich wielko-developerskich wywodów w opisanych wyżej tematach . Jeśli zwrócenie uwagi przez dwóch użytkowników z dłuższym stażem na Ciebie nie działa może czas najwyższy żeby zaczął działać jakiś moderator. Mam wrażenie, że na WHT powinno być podobne ograniczenie wiekowe jak na możliwość wejścia do Lolka.

[sbvc]

Ale jestem ciekaw gdyby mieli brak prądu...
Wszystie serwery by stanęły
Dopiero było by zamieszanie.

Cytuj

Gdybyś nie zauwazył nie zdarzyło mi się skomentować Twoich wielko-developerskich wywodów w opisanych wyżej tematach wink.gif. Jeśli zwrócenie uwagi przez dwóch użytkowników z dłuższym stażem na Ciebie nie działa może czas najwyższy żeby zaczął działać jakiś moderator.

Masz najwięcej postów na tym forum... Ciekawe czemu TY jeszcze nie jesteś modem :]

Niewiem czemu się tak denerwujesz, ale nie widzę powodów do karania lub zwracania w jakikolwiek sposób uwag shive.

[miz]

Nikogo nie chce bronic, ale akurat shive w kazdym mozliwym temacie ujawnia to, ze nie pasuje mu home.pl nawet jesli dotyczy datacenter google.. a teraz chyba mozna wrocic do tematu :).

[patryk]

Tiaa. Co do braku prądu - od tego są już agregaty prądotwórcze, często zajmujące osobny budynek o wielkiej powierzchni (chociaż jak pokazują przypadki ThePlanet wypada jeszcze czasami sprawdzić czy to działa ).

[bellerofont]

sbvc, o 25.02.2006, 20:20, powiedział:

Ale jestem ciekaw gdyby mieli brak prądu...
Wszystie serwery by stanęły
Dopiero było by zamieszanie.

Spokojna głowa. Przecież w takich DC mają generatory prądotwórcze,
a oprócz tego wielkie UPS-y które podtrzymują wszystko do czasu
włączenia się tych 1-szych.
Swoją drogą to ja sobie nie wobrażam dnia bez Google.