websign 0 Zgłoś post Napisano Luty 20, 2012 Witam Na jednym koncie hostingowym mam około 500 domen, z dnia na dzień obciążenie CPU wzrosło o kilkanaście procent (z 1%), podobno obciążenie I/O wyniosło 20%. Googlebot odwiedza każdą z domen co około 30 sekund, w tym momencie każda domena zwraca od razu w pliku php 503 i nic innego się nie wykonuje. Czy możliwe jest że obciążenie CPU nadal wynosi kilkanaście procent i że po prostu samo uruchamianie kilkuset plików php w dość krótkich odstępach czasu powoduje problem i takie obciążenie CPU? Zastanawiam się czy problemem nie mogą być na przykład statystyki albo logi apacha bo przecież zapisują każde odwiedziny, a że odwiedzin jest dużo to sporo tego zapisują i generują obciążenie. Jeśli ktoś ma pomysł co innego może być przyczyną, proszę o wskazówkę. Na razie czekam co prawda na odpowiedź administratora, ale obawiam się że usłyszę, że to moje konto jest winne i chciałbym poznać Waszą opinię. Pozdrawiam Udostępnij ten post Link to postu Udostępnij na innych stronach
majkelfirst 34 Zgłoś post Napisano Luty 20, 2012 (edytowany) 500 domen to sporo, szczególnie jeśli jesteś na współdzielonym, czasami zapętlony bot (np. w przypadku błędnego przekierowania w mod_rewrite) potrafi zajechać najlepszy serwer. Słusznie zauważyłeś, że gdy wzrasta ruch to logowanie zwiększa zużycie zasobów. Możesz: - wyblokować boty inne niż Google (najczęściej Bajdu, Bingi i Jandexy nie są nikomu do szczęścia potrzebne), - ustawić w tych witrynach w Google Webmaster Tools szybkość przemierzania witryny dla bota Google, - ograniczyć / wyłączyć logowanie do plików w apaczu (nie wiem czy się da tak na 100 procent) to na pewno zmniejszy zużycie, - jeszcze lepiej jest pokombinować z jakimś lekkim demonem na froncie i apache jako rev_proxy. Skoro czekasz na info od admina, to ty masz dostęp do konfiguracji tego serwera ? Jeśli nie to będziesz musiał zredukować ilość domen i wywalić te najbardziej obciążające. Lub pokombinować z usunięciem przyczyny, czasami po prostu witryna się rozkręca i nie nadaje się na trzymanie na hostingu typu "shared". Edytowano Luty 20, 2012 przez majkelfirst (zobacz historię edycji) Udostępnij ten post Link to postu Udostępnij na innych stronach
websign 0 Zgłoś post Napisano Luty 20, 2012 Hosting współdzielony, więc niestety ja nie mam możliwości konfiguracji. W mod_rewrite wszystko jest ok, zbędne roboty są poblokowane, w tym momencie tak naprawdę jest tak że mam 500 "pustych" domen - każdy index.php zwraca 503 więc de facto nic się nie dzieje poza tym, że jest często odpalany. Niestety zabawa w centrum webmastera przy takiej ilości domen w grę nie wchodzi, a niestety z tego co się orientuję googlebot innej odmowy nie przyjmuje. Udostępnij ten post Link to postu Udostępnij na innych stronach
Gość nrm Zgłoś post Napisano Luty 20, 2012 Czy możliwe jest że obciążenie CPU nadal wynosi kilkanaście procent i że po prostu samo uruchamianie kilkuset plików php w dość krótkich odstępach czasu powoduje problem i takie obciążenie CPU? Oczywiście, że jest możliwe i bardzo prawdopodobne. 500 domen to przegięcie, jak wjadą na to szalone ruskie boty to w ogóle przegniesz już samą ilością jednoczesnych procesów Udostępnij ten post Link to postu Udostępnij na innych stronach
Gość Zgłoś post Napisano Luty 20, 2012 500 domen, WOW. A ja mam stracha jak 15 domen na KEI wrzuciłem, że czy aby nie przeginam z pakowaniem sajtów na jedno konto ; ) Udostępnij ten post Link to postu Udostępnij na innych stronach
websign 0 Zgłoś post Napisano Luty 27, 2012 Generalnie jak dla mnie nie jest to nic dziwnego, na niektórych hostingach miałem nawet po 800 domen. Co do obciążenia, zredukowałem na wspomnianym hostingu liczbę domen o połowę, obciążenie spadło do 1%, a dzisiaj znowu wzrosło do 8%, czego w zasadzie nie jestem w stanie zrozumieć, tym bardziej że w innej firmie mam wszystkie przeniesione domeny z tego hostingu (sumarycznie tyle samo domen) i tam dobowe obciążenie cpu w ostatnich 7 dniach to średnio 0,3%, a maksymalnie 0,6% - naturalnie nie są to te same domeny i pewnie nie odwiedza ich identycznie googlebot, ale stoją na tym samym skrypcie, więc bardzo mocno mnie to zastanawia. Udostępnij ten post Link to postu Udostępnij na innych stronach
kamilek 20 Zgłoś post Napisano Luty 27, 2012 Jeśli z dnia na dzień masz tego typu wahania to na 99% boty rąbią swoje Jeśli masz te 500 domen na jednym koncie to domyślam się, że jest to zaplecze pod SEO a więc i stronki są ostro podlinkowane i stąd częste wizyty różnych botów. Udostępnij ten post Link to postu Udostępnij na innych stronach
kamilek 20 Zgłoś post Napisano Luty 27, 2012 PS. jeśli masz duży ruch botów to przekierowywanie tego na 503 też nie jest do końca dobrym pomysłem, gdyż jak sam zauważyłeś zapisywanie do plików z logami też powoduje obciążenie nie tyle może CPU co na pewno I/O Wait. Udostępnij ten post Link to postu Udostępnij na innych stronach
websign 0 Zgłoś post Napisano Luty 27, 2012 No dokładnie, tylko co w takim przypadku zrobić skoro w tym momencie 300 domen może zajechać przydzielony limit CPU? Mogę naturalnie sobie dalej zmniejszać, np. do 100 domen, ale naturalnie z tego co widzę nie ma gwarancji, że przy 100 domenach nie będzie identycznego problemu. W htaccess chyba też nie da się zablokować bota Google tak żeby rzadziej odwiedzał stronę, poza tym, chyba i tak by to w logach Apache'a było zapisywane? Mimo wszystko i tak zastanawiam się czy to nie kwestia konfiguracji akurat tego konkretnego serwera, ale dopiero w dłuższej perspektywie zobaczę jak to wygląda na innych hostingach. Na jednej z domen mam dzisiaj od północy do teraz niecałe 2000 wejść googlebota Udostępnij ten post Link to postu Udostępnij na innych stronach
Gość nrm Zgłoś post Napisano Luty 27, 2012 wrzuć to sobie na małego VPSa, ustaw ładnie na np. nginx + php-fpm i serwer nawet nie poczuje, że coś sie dzieje... Udostępnij ten post Link to postu Udostępnij na innych stronach
