---

Hej,

Jeg har registreringer af email på et website.

Fandt ud af tidligere, at brugere der havde tilmeldt sig,
efterfølgende kunne finde deres mail ved at google sig selv.

Jeg ved der findes et script, man kan tilføje i sin ftp, som kan
skjule indholdet af mapper for google. Hedder noget med reboot...

Er der nogen der kan fortælle hvor jeg finder noget om dette
script?

--
Vil du lære at kode HTML, XHTML, CSS, SSI, ASP eller ASP.NET?
- Pædagogiske tutorials på dansk
- Kom godt i gang med koderne
KLIK HER! => http://www.html.dk/tutorials

---

Peter Nicolaj skrev:
> Er der nogen der kan fortælle hvor jeg finder noget om dette
> script?

Det er ikke et script. Det er en tekstfil som fortæller søgemaskiner
hvad de må og hvad de ikke må.

<url: http://en.wikipedia.org/wiki/Robots.txt>

--
Dan Storm - storm at err0r dot dk / http://err0r.dk

People who claim they don't let little things bother
them have never slept in a room with a single mosquito.

---

Dan Storm skrev:
> Peter Nicolaj skrev:
>> Er der nogen der kan fortælle hvor jeg finder noget om dette
>> script?
>
> Det er ikke et script. Det er en tekstfil som fortæller søgemaskiner
> hvad de må og hvad de ikke må.

Og det skal tilføjes, at ikke alle søgemaskiner retter sig
efter det. Google gør dog.

Der er også nogle (spammere, hackere m.fl.), som leder efter
robots.txt for at finde frem til indhold, som andre gerne
vil skjule.

--
Mvh. Kim Ludvigsen
http://pc-sikkerhed.dk

---

Kim Ludvigsen skrev:

> Og det skal tilføjes, at ikke alle søgemaskiner retter sig
> efter det. Google gør dog.

Der er i øvrigtet andet problem med søgemaskiner som jeg ikke
havde tænkt over. Jeg kikkede på statistikken for Fiduso.dk og
undrede mig over at den pludselig fra ca. 500 Mbyte i oktober røg
op på 2 Gbyte i november og december.

Det var to syndere der var årsag til det. Den ene var et
IP-nummer som jeg spærrede for, men den anden var Yahoo Slurp som
er en robot. Den trækker altså tænder ud, så den har jeg også
spærret for med htaccess.

De andre robotter trækker ikke voldsomme datamængder.

--
Bertel
http://bertel.lundhansen.dk/         FIDUSO: http://fiduso.dk/

---

Bertel Lund Hansen har bragt dette til os:
> Kim Ludvigsen skrev:
>
>> Og det skal tilføjes, at ikke alle søgemaskiner retter sig
>> efter det. Google gør dog.
>
> Der er i øvrigtet andet problem med søgemaskiner som jeg ikke
> havde tænkt over. Jeg kikkede på statistikken for Fiduso.dk og
> undrede mig over at den pludselig fra ca. 500 Mbyte i oktober røg
> op på 2 Gbyte i november og december.
>
> Det var to syndere der var årsag til det. Den ene var et
> IP-nummer som jeg spærrede for, men den anden var Yahoo Slurp som
> er en robot. Den trækker altså tænder ud, så den har jeg også
> spærret for med htaccess.
>
> De andre robotter trækker ikke voldsomme datamængder.

Slurp er vist Yahoo's søgemaskine.
Robot sikkert. Spærrer du for den, bliver din side heller ikke vist på
Yahoo's søgesider...

Birger

--
http://varmeretter.dk - billig, sund og hurtig mad
http://bbsorensen.dk

---

Birger Sørensen skrev:

> Slurp er vist Yahoo's søgemaskine.

Ja.

> Robot sikkert. Spærrer du for den, bliver din side heller ikke vist på
> Yahoo's søgesider...

Big deal. Hvis de vil have lov at indeksere mine sider, må de
lave en bedre robot.

--
Bertel
http://bertel.lundhansen.dk/         FIDUSO: http://fiduso.dk/

---

Birger Sørensen <sdc@bbsorensen.com> skrev Wed, 25 Feb 2009 14:59:19
+0100

>Slurp er vist Yahoo's søgemaskine.
>
Klart nok. Men jeg tror det de færeste er klar over, hvormeget
båndbredde, og i hvilket hæsblæsende tempo, Google egentlig forbruger,
hvis man har mange dynamisk genererede sider. Jeg har allerede for et
par år siden været nødt til at begrænse Googles adgang til mine sider.

Jeg har i perioder været ud for, at Google insisterede på at downloade
og indexere mine mere end 100.000 billeder (A4 og foliosider) dagligt.!
Og da det drejer sig om billeder i 2-300 Kilobyte klassen og kaldene
kommer med op til 10-15 stk pr. sekund - så behøver man ikke den store
vognstyrereksamen for at regne ud, hvad det betyder på en privat 512kbit
linje.

>Robot sikkert. Spærrer du for den, bliver din side heller ikke vist på
>Yahoo's søgesider...
>
Ikke nødvendigvis. Det kommer an på hvordan man gør det.
Iøvrigt kan jeg tilslutte mig Bertels bemærkninger desangående.

--
mvh, A:\Feldborg

Slægtsforskning og lokalhistorie i midt- vestjylland
http://hammerum-herred.dk/

---

Arne Feldborg skrev:

> Klart nok. Men jeg tror det de færeste er klar over, hvormeget
> båndbredde, og i hvilket hæsblæsende tempo, Google egentlig forbruger,
> hvis man har mange dynamisk genererede sider.

Google afstedkommer langt mere trafik end man umiddelbart skulle tro.
For et par år siden blev jeg tvunget til at opgradere mit webhotel,
fordi jeg oversteg trafikgrænsen på 10 GB/md. Robotterne stod for de 6-7
GB. Jeg vil tro at forholdet mellem Googles og Yahoos trafik var ca. 60/40.

Googles del af trafikken kan løses ved at uploade et sitemap, men det er
et rent helvede at lave et dynamisk xml-sitemap for en side hvor der
kommer nye undersider til hele tiden, når det samtidig _skal_ gemmes som
UTF-8, mens ens egen computer kører ANSI.

--
Philip - http://chartbase.dk

---

"Philip Nunnegaard" skrev

> Googles del af trafikken kan løses ved at uploade et sitemap, men det er
> et rent helvede at lave et dynamisk xml-sitemap for en side hvor der
> kommer nye undersider til hele tiden, når det samtidig _skal_ gemmes som
> UTF-8, mens ens egen computer kører ANSI.
>
Brug evt notepad++
- det virker


- Peter

---

Peter Lykkegaard skrev:

> Brug evt notepad++
> - det virker

Jeg bruger lige præcis Notepad++ til almindelig HTML.
Måske skulle jeg også have brugt den til sitemappet.


--
Philip - http://chartbase.dk

---

Philip Nunnegaard wrote:

> Googles del af trafikken kan løses ved at uploade et sitemap, men det er
> et rent helvede at lave et dynamisk xml-sitemap for en side hvor der
> kommer nye undersider til hele tiden, når det samtidig _skal_ gemmes som
> UTF-8, mens ens egen computer kører ANSI.

Skal gemmes som er nok så meget sagt.
Jeg lavede en AnsiToUTF8 funktion i ASP til at sende den autogenererede
sitemap som UTF-8.

Man må kunne lave det samme i PHP.

--
Med venlig hilsen
Stig Johansen

---

Stig Johansen wrote:
> Philip Nunnegaard wrote:
>
>> Googles del af trafikken kan løses ved at uploade et sitemap, men det er
>> et rent helvede at lave et dynamisk xml-sitemap for en side hvor der
>> kommer nye undersider til hele tiden, når det samtidig _skal_ gemmes som
>> UTF-8, mens ens egen computer kører ANSI.
>
> Skal gemmes som er nok så meget sagt.
> Jeg lavede en AnsiToUTF8 funktion i ASP til at sende den autogenererede
> sitemap som UTF-8.
>
> Man må kunne lave det samme i PHP.

utf8_encode();

--
Johan Holst Nielsen
Freelance PHP Developer - http://phpgeek.dk

---

Johan Holst Nielsen wrote:

> Stig Johansen wrote:
>> Jeg lavede en AnsiToUTF8 funktion i ASP til at sende den autogenererede
>> sitemap som UTF-8.
> >
> > Man må kunne lave det samme i PHP.
>
> utf8_encode();

Tænkte nok der måtte findes en tilsvarende funktion, men da jeg ikke rigtig
bruger PHP, bliver jeg nødt til at spørge:
Hvordan angiver man hvilket karaktersæt der skal konverteres fra ?

--
Med venlig hilsen
Stig Johansen

---

Johan Holst Nielsen skrev:

> > Man må kunne lave det samme i PHP.
>
> utf8_encode();

Det havde formentlig ikke nyttet noget, da problemet opstod lige før
"<?php", selv om det stod først i min kode.
Der blev indsat et usynligt tegn, som kun kunne ses hvis man åbnede den
som UTF-8. (Hed det en "bump"?)


--
Philip - http://chartbase.dk

---

Philip Nunnegaard wrote:

> Johan Holst Nielsen skrev:
>
>> > Man må kunne lave det samme i PHP.
>>
>> utf8_encode();
>
> Det havde formentlig ikke nyttet noget, da problemet opstod lige før
> "<?php", selv om det stod først i min kode.
> Der blev indsat et usynligt tegn, som kun kunne ses hvis man åbnede den
> som UTF-8. (Hed det en "bump"?)

BOM (Byte Order Marker), som formentlig er gemt med din editor, den må
(generelt) ikke være der i XML, det er vist MS der har fået indført det.

Selve PHP filen skal du bare gemme i ansi, og så udskrive UTF-8, der hvor
det er påkrævet (det er kun tegn > 127) der er forskellige fra Ansi og
UTF-8.

--
Med venlig hilsen
Stig Johansen