---

Hej

Jeg skal jævnligt hitte en større mængde URL's og forestillede mig, at man
kunne placere dem i en textfil og lade wget tage sig af det, men bare 500
URL's tager 41 sekunder, og det er endda med en test-URL, som kun har
begrænset output.

Jeg har forsøgt at angive --quota=1, men den hentede alligevel hele filen,
så der sparede jeg ikke noget tid.

Har I et forslag til hvordan jeg få hittet en stor mængde sider hurtigst
muligt, gerne med mulighed for at man ikke downloader deres output?

Mvh
Jimmy

---

Jimmy <bla@bla.bla> wrote:
> Hej
>
> Jeg skal j?vnligt hitte en st?rre m?ngde URL's og forestillede mig, at man
> kunne placere dem i en textfil og lade wget tage sig af det, men bare 500
> URL's tager 41 sekunder, og det er endda med en test-URL, som kun har
> begr?nset output.

Noget andet end wget, med nogle threads.

--
jlouis

---

Jimmy wrote:
> Hej
>
> Jeg skal jævnligt hitte en større mængde URL's og forestillede mig,
> at man kunne placere dem i en textfil og lade wget tage sig af det,
> men bare 500 URL's tager 41 sekunder, og det er endda med en
> test-URL, som kun har begrænset output.

Du skal vel ikke fuske med at hitte bannerreklamer ?

> Jeg har forsøgt at angive --quota=1, men den hentede alligevel hele
> filen, så der sparede jeg ikke noget tid.
>
> Har I et forslag til hvordan jeg få hittet en stor mængde sider
> hurtigst muligt, gerne med mulighed for at man ikke downloader deres
> output?

wget --spider --force-html -i bookmarks.html

bookmarks.html skal så indeholde url'erne som <a href="....>...</a>, men det
er jo en one-liner at konvertere en liste af url'er til det.

Skal det speedes op, kan du jo dele tekstfilen op i f.ex. 10 dele og køre
dem parallelt, ved at backgrounde-processen
poll_url liste.del1 &
poll_url liste.del2 &
osv

Hvis du virkelig skal fuske med at hitte bannerreklamer, så skal du nok
kigge på --referer og --user-agent, for mere at ligne en human-operated
browser, og ikke en robot..

---

Jimmy uttered:
> Har I et forslag til hvordan jeg få hittet en stor mængde sider hurtigst
> muligt, gerne med mulighed for at man ikke downloader deres output?

curl har mulighed for bare at hente HTTP-headers, så man sparer
nedlastningen af hele siden.

--
-- [ kristian ] --------------------------------------------------------
--------------- [if( you->toppost() ) { killfilter->append( you ); }] --
--

---

"Jimmy" <bla@bla.bla> writes:

> Har I et forslag til hvordan jeg få hittet en stor mængde sider hurtigst
> muligt, gerne med mulighed for at man ikke downloader deres output?

Lynx har et flag til kun at hente http-headeren

--
Thorbjørn Ravn Andersen
http://unixsnedkeren.dk - Unix, Java, Web, Netværk, Århus