---

Hej

Jeg ville gerne stoppe denne robot på min side
User-agent: BecomeBot
Disallow: cgi-bin

Hvordan gør jeg det, forklaringen på det må gerne skæres ud i pap ;)

Venlig hilsen Peter
--
homepage:http://www.skeel.info/

---

us skrev:
> Hej
>
> Jeg ville gerne stoppe denne robot på min side
> User-agent: BecomeBot
> Disallow: cgi-bin
>
> Hvordan gør jeg det, forklaringen på det må gerne skæres ud i pap ;)
>

Hele sagen er udmærket forklaret her:

http://www.robotstxt.org/wc/exclusion.html
--

Med venlig hilsen

Jørgen Farum Jensen
http://www.webdesign101.dk
..

---

OK, så jeg laver en robots.txt file med denne text,

# robots.txt for http://www.skeel.info/index.php/
User-agent: BecomeBot
Disallow: cgi-bin

og sætter den ind i root directory, er det rigtigt forstået.

Hilsen Peter
--
Jørgen Farum Jensen wrote:
> us skrev:
>> Hej
>>
>> Jeg ville gerne stoppe denne robot på min side
>> User-agent: BecomeBot
>> Disallow: cgi-bin
>>
>> Hvordan gør jeg det, forklaringen på det må gerne skæres ud i
>> pap ;)
>
> Hele sagen er udmærket forklaret her:
>
> http://www.robotstxt.org/wc/exclusion.html

---

us skrev:
> OK, så jeg laver en robots.txt file med denne text,
>
> # robots.txt for http://www.skeel.info/index.php/
> User-agent: BecomeBot
> Disallow: cgi-bin
>
> og sætter den ind i root directory, er det rigtigt forstået.

Under alle omstændigheder directory angivelse:

User-agent: BecomeBot
Disallow: /cgi-bin/

Men hvorfor ikke

User-agent: *
Disallow: /cgi-bin/

Der forhindrer alle robotter i at indeksere
/cgi-bin/?

Obs også - så vidt jeg ved - skal du være ultimativt
sikker på robottens navn, der sagtens kan være et
andet end søgemaskinens navn. Du kan næsten kun finde
det i webserverens logfil.

Jeg forhindrer også søgning i mange andre
foldere end cgi-bin, for eksempel inkluderede filer
billeder og JavaScript ressourcer.

--

Med venlig hilsen

Jørgen Farum Jensen
http://www.webdesign101.dk
..