Skocz do zawartości
ukozik26

wget/cURL i 302 Found

Polecane posty

Cześć.

Natknąłem się na pewien problem związany z pobieraniem strony. Mianowicie, chodzi o coś takiego:

- jest strona, na której jest generator, który generuje dokument (www.strona.pl/generator.php)

W momencie, jak chce pobrać sobie wynik generator.php wgetem/cURLem dostaje 302 Found i mnie przenosi pod inny dokument.

Dokładnie chodzi o pobieranie AUP ze strony Polskiej Agencji Żeglugi Powietrznej.

Log z wgeta:

user@serwer:~/test$ wget http://www.amc.pansa.pl/generator_AUP.php
--2017-07-07 12:39:45--  http://www.amc.pansa.pl/generator_AUP.php
Translacja www.amc.pansa.pl (www.amc.pansa.pl)... 91.216.160.135
Łączenie się z www.amc.pansa.pl (www.amc.pansa.pl)|91.216.160.135|:80... połączono.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 302 Found
Lokalizacja: http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info [podążanie]
--2017-07-07 12:39:50--  http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info
Translacja www.amc.pata.pl (www.amc.pata.pl)... 91.216.160.135
Ponowne użycie połączenia do www.amc.pansa.pl:80.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 200 OK
Długość: nieznana [text/html]
Zapis do: `generator_AUP.php'

    [ <=>                                                                                                                              ] 14.571      --.-K/s   w  0,002s

2017-07-07 12:39:50 (7,57 MB/s) - zapisano `generator_AUP.php' [14571]

Próbowałem również z --referer:

user@serwer:~/test$ --2017-07-07 12:41:07--  http://www.amc.pansa.pl/generator_AUP.php
Translacja www.amc.pansa.pl (www.amc.pansa.pl)... 91.216.160.135
Łączenie się z www.amc.pansa.pl (www.amc.pansa.pl)|91.216.160.135|:80... połączono.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 302 Found
Lokalizacja: http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info [podążanie]
--2017-07-07 12:41:07--  http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info
Translacja www.amc.pata.pl (www.amc.pata.pl)... 91.216.160.135
Ponowne użycie połączenia do www.amc.pansa.pl:80.
Żądanie HTTP wysłano, oczekiwanie na odpowiedź... 200 OK
Długość: nieznana [text/html]
Zapis do: `generator_AUP.php.1'

    [ <=>                                                                                                                              ] 14.571      --.-K/s   w  0,002s

2017-07-07 12:41:07 (8,68 MB/s) - zapisano `generator_AUP.php.1' [14571]

^C
[1]-  Done                    wget http://www.amc.pansa.pl/generator_AUP.php --referer=http://www.amc.pansa.pl/?menu_lewe=aup
[2]+  Done                    opis=amc_aup

Czy mógłby ktoś mi podpowiedzieć, jak temu zaradzić?

Pozdrawiam.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Pierwsze żądanie HTTP adresu wystawia cookie:

#http://www.amc.pansa.pl/generator_AUP.php zwraca przekierowanie 302:

Date: Mon, 10 Jul 2017 07:13:50 GMT
Server: Apache/2.4.25 (Unix) OpenSSL/1.0.2j PHP/5.6.30 mod_perl/2.0.8-dev Perl/v5.16.3
X-Powered-By: PHP/5.6.30
Set-Cookie: PHPSESSID=9vgv9t560mc8j7slbqreag3vq6; path=/
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
Pragma: no-cache
Location: http://www.amc.pata.pl/index.php?lang=_pl&top_menu=top_amc&left_menu=menu_amc&opis=amc_info
Content-Length: 0
Keep-Alive: timeout=5, max=100
Connection: Keep-Alive
Content-Type: text/html; charset=iso-8859-2

Dopiero kolejne zwracają tą tabelę. Jeśli usuniesz cookie, to znowu będzie 302, więc kluczowym elementem jest cookie. Zatem musisz wywołać stronę główną i zapisać cookie i dopiero w następnym żądaniu wywooływac adres:

Dołączając zapisane cookie. Nie wykluczone, że musi być ustawiony jakiś istniejący UserAgent.

Udostępnij ten post


Link to postu
Udostępnij na innych stronach

Bądź aktywny! Zaloguj się lub utwórz konto

Tylko zarejestrowani użytkownicy mogą komentować zawartość tej strony

Utwórz konto

Zarejestruj nowe konto, to proste!

Zarejestruj nowe konto

Zaloguj się

Posiadasz własne konto? Użyj go!

Zaloguj się


×