Jak Wygladaja Serwery Uzywane Przez Google

[steven 0]

Z fajnych rzeczy ktore jeszcze znalazlem - jest firma oferujaca obudowe, w ktorej mozna zbudowac wlasnego blade (10 serwerow w 8u) przy uzyciu standardowych komponentow (plyty ATX, normalne procki, wentylatory 1U, 2 dyski).. Caly komplet (do montazu 10 serwerow, wraz z zasilaczami i chlodzeniem) kosztuje ponizej 2 tysiecy USD... Moze nie jest to tak profi jak systemy sprzedawane przez IBM/HP/Dell'a (szczegolnie brak backplaina dla kabli oraz wbudowanego switcha boli) - ale warto zanotowac istnieje takich rozwiazan.

 

Zdjecie obudowy:

 

Jeden zmontowany blade:

 

Szafa na 50 serwerow:

 

Calosc opisana na: ATXBlade

[dev/null 0]

trzeba by sie cofnac do samej ideai jaka przyswiecala amerykanskim wojskowym przy tworzniu tej sieci (czy raczej jej protoplastu) - to tak apropo ataku na jakies dc

[srok@ 0]

Dzięn bez google to dzień stracony

[ragni 0]

temat stary ale ciekawy wiec postanowilem dodac pare ciekawostek od siebie:

 

- google posiada obecnie ponad 400000 maszyn /nie, nie pomylilem zer/

 

- przy takiej skali ogromne znaczenie ma zuzycie energii gdyz ma znaczacy wplyw na oplacalnosc danego DC - nic innego jak tani prad zadecydowal ostatnio o najnowszej lokalizacji

 

- kupuja tak duzo sprzetu, ze moga wplywac na swiatowe ceny komponentow (np. RAMu)

 

- ich niekiepscy inzynierowie (wiecej osob z tytulem naukowym pracuje tylko w NASA) pracuja obecnie nad upakowaniem do blaszanego portowego kontenera /do obejrzenia w co 3cim amerykanskim filmie/ 5000 opteronow i 3,5 petabajtow w macierzach. docelowo kilkadziesiat takich wynalazkow bedzie rozstawionych po calym swiecie w celu zapewnienia jak najwiekszej dostepnosci. Przykladowo: przyplywa to cos statkiem, laduje na parkingu GTSu, podpinamy prad oraz fibera i mamy cala europe srodkowa z glowy

 

- najblizsze nam DC googla lezy prawdopodobnie we frankfurcie /tam mi leci traceroute do mail.google.com/

 

- obecna strategia rozbudowy infrastruktury jest nastawiona na zminimalizowanie poboru pradu /nowoczesny sprzet zuzywa mniej pradu niz zarowka/ i temperatury /ostatnie awarie w NY, to tlumaczy tez dlaczego googlowe serwery nie maja obudow/. zajmowane miejsce schodzi na dalszy plan.

 

- konkurencja nie spi: yahoo i microsoft tez maja juz serwery liczone w setkach tysiecy /ale mniej od googla/

 

 

 

PS. zna ktos jeszcze jakies duze duze wdrozenia? mi do glowy przychodzi 1and1 - najwieksza firma hostingowa na swiecie. w niemczech maja ponad 30.000 serwerow na ktorych obsluguja rynek brytyjski, francuski i oczywiscie niemiecki /dla reszty uslugi sa niedostepne/. Dla porownania - home.pl ma 150 sztuk.

[ml 0]

dot. 1and1, to zobaczcie sobie flash-movie przedstawiajacy ich infrastrukture

http://order.1and1.com/oneandone_us/img/swf/main.html

 

z profilu firmy:

"Today, 1&1 is proud to have over 5.08 million customers and to have registered over 5.3 million domains worldwide. With over 2,300 employees and 150 developers, the company is committed to providing the best possible Internet experience for its customers. We have been confirmed as the world’s largest web hosting company and we continue to grow daily, thanks to you."

[mateo 0]

temat stary ale ciekawy wiec postanowilem dodac pare ciekawostek od siebie:

 

- google posiada obecnie ponad 400000 maszyn /nie, nie pomylilem zer/

 

chyba jednak pomyliles

jakis niecaly rok temu technik z goole mowil ze srednio maszyna pada co 1000 dni i przez to musza 3 maszyny dziennie wymieniac

 

jesli by kolokowali nawet sie w 10 datacenter i mieli 400 000 maszyn to wypada 40 000 na 1 DC

 

 

niech na kazda maszyne idzie 100W daje to 4MW na samego kolokowanego goolea

 

IMO nierealne bo to 20kAmper

czyli zeby to kabel zasilajacy przeniosl musialby miec 3000 cm2

[d 0]

Moze nie sa tak bardzo scentralizowani (nie korzystaja z 1-go kabla )

Co do ilosci maszyn - to mozliwe, zapewne maja maszyny na calym swiecie, takie jest moje zdanie;)

[ragni 0]

chyba jednak pomyliles

 

chyba jednak nie...

 

According to Paul Strassmann's lecture, a standard Google Cluster contains 359 racks with 31654 machines.

 

He also mentions that there are ">12" data centers around the globe. Assuming each data center has at least one Google Cluster that means that Google is operating > 379848 individual machines.

 

a tutaj wspomniana prezentacja: http://www.strassmann.com/pubs/gmu/LectureV4.pdf

[mateo 0]

chyba jednak nie...

a tutaj wspomniana prezentacja: http://www.strassmann.com/pubs/gmu/LectureV4.pdf

 

ale z niej wynika o ile dobrze widze ze maja okolo 40 000 maszyn lacznie

[ragni 0]

...w jednym klastrze

[mateo 0]

...w jednym klastrze

 

lacznie

pozatym bardziej chyba wierze informacjom od technika niz z jakiegos opracowania na temat przyszlosci

z 1 zdjeciem niby gogole'a

[yezooz 0]

Raczej mało prawdopodobne.

 

Kilka tysięcy zapytań / s, gigantyczna baza danych, skrypty indeksujące, gmail, google analytics, masa innych usług... i wszystko na 40k maszyn ?

[ragni 0]

http://www.google.com/search?hl=en&lr=....500000+servers

 

moze teraz uwierzysz

[Karol Głowacki 0]

A tak na poważnie, to przecież kluczowe DC(banki, służby specjalne itp.) są na pewno dość dobrze chronione,

a maszyny hostingowe to taki w sumie nijaki cel.

 

Pentagon też był "dobrze" chroniony

[ertcap 0]

http://sloniewski.pl/ping/2006/movies/ping...klad.google.mov

 

Tu macie ciekawy film o Google (opowiada jeden z adminow z Google w Irlandii, glownie o ich sieciowym systemie plikow ale nie tylko).

 

Ok. 250MB - wiec jakby serwer padl pod naporem ruchu to postaram sie filmik gdzies u siebie wystawic

 

pzdr.

[Gość patrick]

Pentagon też był "dobrze" chroniony

i jest dalej żadnego ataku terrorystycznego nie zaliczył.

Nie licząc tego sabotażu służb specjalnych które uderzyły samolotem odrzutowym bądź jakimś cruise w remontowaną ścianę pentagonu

 

Kiedyś już to oglądałem więc nie skorzystam

Jak by komuś się nie chciało ściągać to :

http://video.google.pl/videoplay?docid=8413138961372335737

[breja 0]

http://lightman.typepad.com/.shared/image....nter_dublin.jpg

 

Tak wygladaja Google DC na zwyklych pecetach bez zbednych i drogich szaf (gdzies jest ta sama fotka w wyzszej rozdzielczosci ale znalesc nie moge)

[yezooz 0]

tutaj tez jest pare fotek:

http://www.dslreports.com/forum/remark,17398680

[Woyteck 0]

jesli by kolokowali nawet sie w 10 datacenter i mieli 400 000 maszyn to wypada 40 000 na 1 DC

niech na kazda maszyne idzie 100W daje to 4MW na samego kolokowanego goolea

 

IMO nierealne bo to 20kAmper

czyli zeby to kabel zasilajacy przeniosl musialby miec 3000 cm2

 

Mateo, zapomniales o takim wynalazku jak transformator...

W Polsce sa linie przesylowe 750kV i kable maja po kilka cm grubosci...

 

Ale 20kAmper jest mozliwe, a jakze.

U mnie w pracy mamy zapas 4500A przy 230V a to tylko 1 z 8 pomieszczen serwerowych w tym DC

Nota bene kable do Colo Room'u prowadza 415V i maja 3cm srednicy i idzie ich ze 30 w sumie....

Poza tym widzialem bezpieczniki 800 Amper nawet nie wiedzialem ze takie cos istnieje...

 

A aporpo Googla

Ostatnio czytalem ze sie Google z Microsoftem licytowalo na nowe data center budowane w stanach.

No i google rozpoczyna budowe kolejnego datacenter ktore bedzie mialo powierzchnie 100,000m2.

To jak jakies wielkie centrum handlowe...

w sumie moze to byc budynek 100mx1km

 

Co jeszcze ciekawego - Google promuje przejscie producentow kompow na 12V pradu stalego - jest to znacznie bardziej ekonomicznie. Czytalem ze kolo 28% mniej energii sie zuzywa (standardowo wchodzi prad zmienny - przechodzi przez UPSy jako staly, jest zamieniany na zmienny i wchodzi do kompow i jest zamieniany na staly, a google robi teraz tak - wchodzi zmienny, przechdozi przez UPSy jako staly i idzie jako stale 12V do serwerow). a nie zapominajmy o chlodzeniu bo straty na prostownikach/falownikach sa i ida w cieplo...

[gb 12]

Ale 20kAmper jest mozliwe, a jakze.

U mnie w pracy mamy zapas 4500A przy 230V a to tylko 1 z 8 pomieszczen serwerowych w tym DC

Nota bene kable do Colo Room'u prowadza 415V i maja 3cm srednicy i idzie ich ze 30 w sumie....

Poza tym widzialem bezpieczniki 800 Amper nawet nie wiedzialem ze takie cos istnieje...

 

Z ciekawosci zapytam, jaki PF macie srednio ?

 

g.

[Na okrągło jak rondo 0]

oglądając to co patrick podał jestem pod wrażeniem.

raptem 9 lat istnieje google a jaki to gigant jest, jaką ma infrastrukturę.

i że stoi na normalnych pecetach xD

i że założyciele guugla wyglądają jak geje, że pracownicy grają w polo.

w ogóle spoko firma, nie wygląda na taką komerchę jak microsyf..

[shive 0]

Oni nie korzystają ze zwykłych pecetów bo są dziwni, tylko z takiego powodu jak każda normalna firma: bardziej im się to opłaca.

[p 3]

w ogóle spoko firma, nie wygląda na taką komerchę jak microsyf..

Bo...?

[jatokor 0]

@Xavi no nie wiem imo to ich zachowanie w dużej mierze jest komercyjne sprzedawanie boksów w wyszukiwarce to co dają za darmo tylko zwiększa ich monopol i nakręca popularność firmy

 

Co do serwerowni to nice kurcze oni to się wstrzelili w potrzeby rynku w odpowiednim momencie

 

Pozdrawiam, Jarek

[Woyteck 0]

Z ciekawosci zapytam, jaki PF macie srednio ?

rozwin prosze ten skrot bom zmeczony i nie jaze...