(pytanie) Pobieranie wielu plików jednocześnie przez wget

[lyca 5]

Witajcie,

Zna ktoś może sposób jak pobierać jednocześnie wiele plików przez wget?

Obecnie męczę się robiąc tak:

"wget -b http://domena.com/plik1 && wget -b http://domena.com/plik2"

 

itd

Jest to czasochłonne. Wrzucając pliki do listy .txt powoduje iż wget pobiera tylko 1 plik jednocześnie.

 

Szukam jakiegoś generatora lub sposobu (bash?) który ułatwiłby pobieranie.

[Gość Kamikadze]

Nie wiem czy dobry pomysł ale napisać sobie skrypt który wrzuci wszystkie wget-y do screena (1 screen == 1 wget). Możliwe że pobierze ci wszystko w tle od razu.

[Pan Kot 1535]

Wrzuć do jakiegoś pliku .txt wszystkie pliki do pobrania.

 

Następnie napisz sobie taki skrypt:

#!/bin/bash
PLIK="plik.txt"
 
echo "Pobieranie w toku..."
while read LINE; do
    wget "$LINE" >/dev/null 2>&1 &
done <"$PLIK"
wait
echo "Pobieranie ukonczone"
exit 0

Ew. możesz zastąpić wget "$LINE" >/dev/null 2>&1 & komendą wget -b "$LINE" >/dev/null 2>&1. Kwestia konwencji czy chcesz robić forki pod kontrolą czy bez kontroli. Jak je masz pod kontrolą to możesz dorzucić wait, tak jak ja to zrobiłem, żeby skrypt dał Ci znać kiedy skończy, oczywiście jeśli tego chcesz.

Edytowano Wrzesień 12, 2014 przez Archi (zobacz historię edycji)

[IceManSpy 4]

Możesz też stworzyć plik tekstowy do którego wrzucisz linki (1 link -> 1 linijka), a następnie wywołać

wget -i nazwa_pliku

 

Najlepiej odpalić to w screenie, żebyś mógł odłączyć się od konsoli:

 

 

screen -d -m wget -i naza_pliku

 

[Misiek08 285]

http://stackoverflow.com/questions/7577615/parallel-wget-in-bash

 

xargs może okazać się pomocny. -n 1 -p 8 przekaże 1 plik do wget'a na raz i będzie trzymał max. 8 procesów - to przykład z wątka na SO.

[lyca 5]

Dzięki za pomoc.