/ Forside / Teknologi / Udvikling / ASP / Nyhedsindlæg
Login
Glemt dit kodeord?
Brugernavn

Kodeord


Reklame
Top 10 brugere
ASP
#NavnPoint
smorch 9259
Harlekin 1866
molokyle 1040
Steffanst.. 758
gandalf 657
smilly 564
gibson 560
cumano 530
MouseKeep.. 480
10  Random 410
Search Robot skal se alt, brugere kun noge~
Fra : Jeppe Richardt


Dato : 13-02-07 23:58

Hej Gruppe..!

Mit problem er at jeg har en side, hvor man skal havde et login for at
kunne bruge det meste af den..
Men det forhindre åbenbart også Search Robot i at tjekke siden, dvs at
min side så ikke vil komme så højt op i rank hos fx google.. da den jo
ikke kan se alt hvad mine sider indeholder!

Så mit spørgsmål går på;
Er det muligt at lukke alle sider op for en Search Robot, men en
normal bruger skal stadig være logget ind for at se siden...


Håber i kan hjælpe ;)

Mvh Jeppe Richardt
- Marci.dk


 
 
Thomas Møller Nexø (14-02-2007)
Kommentar
Fra : Thomas Møller Nexø


Dato : 14-02-07 00:06

> Så mit spørgsmål går på;
> Er det muligt at lukke alle sider op for en Search Robot, men en
> normal bruger skal stadig være logget ind for at se siden...

Hejsa Jeppe.

En normal bruger ser omtrent det samme som en søgemaskine, nemlig den
struktur som webserveren har genereret og sendt til klienten i form af
html-output.

Du kan formentlig godt lave et script ala (pseudo-kode):

hvis user-agent er lig med google eller andre søge robotter
bla bla bla... kode, der skal sendes med til klienten... bla bla bla

Hvis du forstår.
Men hvorfor satse på at få en side, der skal fungere som lukket land for
få mennesker, indekseret i en søgemaskine? Jeg ville netop gøre det
modsatte Jo færre der kender siden (altså den lukkede del af den),
des færre vil forsøge at opnå uautoriseret adgang til siden.

Hvis du deler tingene lidt op kan du sagtens få en indekseret hjemmeside
som alle kan se, og et lukket comunity, der ikke behøver være indekseret.
Du gør så den nødvendige reklame fra den "synlige hjemmeside".

Håber jeg harforstået din problemstilling korrekt.

Med venlig hilsen,

Thomas Møller Nexø
---------------------------------------------
Discount Domæner
http://www.discountdomains.dk
Registrering af danske og udenlandske domæner



--
Vil du lære at kode HTML, XHTML, CSS, SSI, ASP eller ASP.NET?
- Pædagogiske tutorials på dansk
- Kom godt i gang med koderne
KLIK HER! => http://www.html.dk/tutorials

Jens Gyldenkærne Cla~ (14-02-2007)
Kommentar
Fra : Jens Gyldenkærne Cla~


Dato : 14-02-07 00:28

Thomas Møller Nexø skrev:

> Men hvorfor satse på at få en side, der skal fungere som
> lukket land for få mennesker, indekseret i en søgemaskine?

Formentlig for at få flere folk til at betale for at komme ind i
det forjættede land.

Et af mine yndlingshadeobjekter er Experts Exchange - der utallige
gange dukker op blandt de første resultater på en teknisk
googlesøgning. Men hvis man følger linket, kommer man til en side
som denne:
<http://www.experts-
exchange.com/Databases/Microsoft_SQL_Server/Q_21489609.html>

- hvor man skal trykke "View Solution" (og efterfølgende registrere
sig/betale) for at se andet end et spørgsmål.

Det er muligt at siden rent faktisk indeholder nogle brugbare svar,
men den måde den præsenterer sig på, gør at jeg holder mig langt
væk hver gang den dukker op i en googling.

Experts Exchange anvender præcis den forskelsbehandling Jeppe har
spurgt til (se evt. Googles cache for ovenstående side - svarene
ligger i bunden).
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

Rune Jensen (20-02-2007)
Kommentar
Fra : Rune Jensen


Dato : 20-02-07 01:06


"Jens Gyldenkærne Clausen" skrev i en meddelelse...

> Et af mine yndlingshadeobjekter er Experts Exchange - der utallige
> gange dukker op blandt de første resultater på en teknisk
> googlesøgning. Men hvis man følger linket, kommer man til en side
> som denne:
> <http://www.experts-
> exchange.com/Databases/Microsoft_SQL_Server/Q_21489609.html>
>
> - hvor man skal trykke "View Solution" (og efterfølgende registrere
> sig/betale) for at se andet end et spørgsmål.
>
> Det er muligt at siden rent faktisk indeholder nogle brugbare svar,
> men den måde den præsenterer sig på, gør at jeg holder mig langt
> væk hver gang den dukker op i en googling.

Jep! Sådanne sider er i enhver forstand imod mine principper. Jeg føler mig
snydt hver gang. Også selom det er gratis. Der er altid alternativer, hvor
man ikke skal logge ind, så hvorfor bruge den tid på noget, som man ikke ved
om virker.

MVH
Rune Jensen



Jens Gyldenkærne Cla~ (14-02-2007)
Kommentar
Fra : Jens Gyldenkærne Cla~


Dato : 14-02-07 00:16

Jeppe Richardt skrev:

> Er det muligt at lukke alle sider op for en Search Robot, men
> en normal bruger skal stadig være logget ind for at se
> siden...

Ja. Du kan tjekke UserAgent og lukke kendte bots ind. Det vil dog
også gøre det muligt for teknisk begavede brugere at komme ind (ved
at sætte deres browser til at udgive sig som en søgemaskine).

En lidt mere avanceret udgave kan tjekke ip-adressen og userAgent,
og nøjes med at åbne for ip-områder der anvendes af kendte bots.

Du skal dog være opmærksom på at det kan virke møgirriterende med
sider der på den måde forskelsbehandler søgerobotter og normale
brugere. Hvis man som bruger oplever at et site scorer højt på
Google uden at kunne bruges direkte (fordi man først skal
registreres/logge ind/betale), kan det betyde at man går langt uden
om det site fremover.
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

Jens Gyldenkærne Cla~ (14-02-2007)
Kommentar
Fra : Jens Gyldenkærne Cla~


Dato : 14-02-07 10:05

Jeppe Richardt skrev:

> Men lige et spørgsmål til dig, hvis nu at det var gratis at
> oprette den bruger der, på den side..
> Ville du så stadig holde dig væk fra den?

Måske. Det kommer an på

- hvor let det er at oprette sig
- hvor lovende siden ser ud
- om der er brugbare alternativer der ikke kræver login
- om siden tilbyder autologin (så man, når man først er oprettet,
bliver logget direkte ind ved første besøg i en session).


> Men hvordan tjekker man om det er en UserAgent ?

Det er altid en "UserAgent" - det er såmænd bare navnet på den
header som browsere, søgemaskiner og andet sender med for at
identificere sig.

Du får fat i den på asp-siden med
Request.ServerVariables("HTTP_USER_AGENT") - se fx siden her
<http://gyros.dk/usenet/asp/ua.asp>.

For at tjekke om det er en bot, kan du sammenligne strengen med en
liste af kendte bots (tag evt. bare et kig i dine logfiler).
--
Jens Gyldenkærne Clausen
Svar venligst under det du citerer, og citer kun det der er
nødvendigt for at forstå dit svar i sammenhængen. Se hvorfor og
hvordan på http://usenet.dk/netikette/citatteknik.html

Jeppe Richardt (14-02-2007)
Kommentar
Fra : Jeppe Richardt


Dato : 14-02-07 00:22

> En normal bruger ser omtrent det samme som en søgemaskine, nemlig den
> struktur som webserveren har genereret og sendt til klienten i form af
> html-output.
Ok

> Du kan formentlig godt lave et script ala (pseudo-kode):
>
> hvis user-agent er lig med google eller andre søge robotter
> bla bla bla... kode, der skal sendes med til klienten... bla bla bla
>
> Hvis du forstår.

Jeg forstår..
Men det vil jo også blive en del besværligt?

> Men hvorfor satse på at få en side, der skal fungere som lukket land for
> få mennesker, indekseret i en søgemaskine? Jeg ville netop gøre det
> modsatte Jo færre der kender siden (altså den lukkede del af den),
> des færre vil forsøge at opnå uautoriseret adgang til siden.
Kan godt forstå hvad du mener her, men det er ikke helt det jeg mente
med det ;)
Fordi det ikke på den måde en lukket del for "mennesker"
Altså i dette tilfælde ville det jo være gratis at få sig denne
bruger..
Men det er simpelthen for at vide hvor man har folk, hvis de laver en
bruger er det lige som de også er lidt mere inde, og får flere
muligheder mm.
-( dette er selvfølgelig min holdening til det ;)

Men altså det var ikke fordi det var en forbudt del, men bare en del
du skal være logget ind for at se(gratis)


>
> Håber jeg harforstået din problemstilling korrekt.
mere eller mindre har du iværtfald :)


Men indtil videre er der den mulighed at man muligvis kunne flette
noget ind i koden hvor der står hvis det er en Search Robot så skal
siden vises..

Er der ikke andre muligheder?
- Efter som jeg vil mene er denne muligvis vil være lidt besværlig..

, Men tak for svaret ;)

Mvh Jeppe Richardt
- Marci.dk


Jeppe Richardt (14-02-2007)
Kommentar
Fra : Jeppe Richardt


Dato : 14-02-07 00:44

> > Er det muligt at lukke alle sider op for en Search Robot, men
> > en normal bruger skal stadig være logget ind for at se
> > siden...
>
> Ja. Du kan tjekke UserAgent og lukke kendte bots ind. Det vil dog
> også gøre det muligt for teknisk begavede brugere at komme ind (ved
> at sætte deres browser til at udgive sig som en søgemaskine).
>
> En lidt mere avanceret udgave kan tjekke ip-adressen og userAgent,
> og nøjes med at åbne for ip-områder der anvendes af kendte bots.
Ja lidt som det op over, bare lidt, mere præcis forklaret

> Du skal dog være opmærksom på at det kan virke møgirriterende med
> sider der på den måde forskelsbehandler søgerobotter og normale
> brugere. Hvis man som bruger oplever at et site scorer højt på
> Google uden at kunne bruges direkte (fordi man først skal
> registreres/logge ind/betale), kan det betyde at man går langt uden
> om det site fremover.
Kan godt forstå, og vil nok typisk også selv gøre det samme..
Men lige et spørgsmål til dig, hvis nu at det var gratis at oprette
den bruger der, på den side..
Ville du så stadig holde dig væk fra den?


Men hvordan tjekker man om det er en UserAgent ?


Thomas Møller Nexø (14-02-2007)
Kommentar
Fra : Thomas Møller Nexø


Dato : 14-02-07 11:29

> Men hvordan tjekker man om det er en UserAgent ?

Som Jens skriver er det altid en user-agent.
Du kan se en liste med søgerobotters navne og tilhørende søgemaskiner
her: http://www.searchenginedictionary.com/spider-names.shtml

Jeg skal være ærlig og fortælle at jeg ikke har verificeret den nærmere,
men den kan måske være med til at give dig en ide om hvem du skal holde
øje med i dit script på siderne.

Læg de mest gængse ind i et array og tjek user-agent ved hver side
request for at se om det er nogle af dem du har indtastet i dit array.

Med venlig hilsen,

Thomas Møller Nexø
---------------------------------------------
Discount Domæner
http://www.discountdomains.dk
Registrering af danske og udenlandske domæner

--
Vil du lære at kode HTML, XHTML, CSS, SSI, ASP eller ASP.NET?
- Pædagogiske tutorials på dansk
- Kom godt i gang med koderne
KLIK HER! => http://www.html.dk/tutorials

Søg
Reklame
Statistik
Spørgsmål : 177580
Tips : 31968
Nyheder : 719565
Indlæg : 6409084
Brugere : 218888

Månedens bedste
Årets bedste
Sidste års bedste