/ Forside / Teknologi / Udvikling / Perl / Nyhedsindlæg
Login
Glemt dit kodeord?
Brugernavn

Kodeord


Reklame
Top 10 brugere
Perl
#NavnPoint
bjarneA 141
poul_from 50
soccer 30
Nicknack 14
Tmpj 0
Hente artikler fra groups.google.com
Fra : FePe


Dato : 12-02-04 19:47

Hej NG!

Jeg vil ikke påstå at være speciel kyndig indenfor netværk og
lignende, og heller ikke indenfor Perl.

Men jeg har forsøgt at lave en lille news-henter, som skulle hente
artiklerne ned fra http://www.groups.google.com/ - det kunne være
meget praktisk. Jeg har brugt LWP::Simple og HTML::Parser fra
cpan.org. Det er nemt nok at hente de fleste hjemmesider ned, også
http://www.groups.google.com, men når jeg dykker længere ned i deres
sider vil det ikke lykkes. Ved at bruge getprint() i LWP::Simple har
jeg fundet ud af, at det giver en "403 Forbidden" fejlmeddelelse. Mit
spørgsmål er egentlig bare, om det er muligt at komme videre herfra,
eller har Google lagt en blokering ind på en eller anden måde? Det er
måske et dumt spørgsmål, men som sagt har jeg kun lidt forstand på
netværk.

Mvh. FePe.
--
Theorem: A cat has nine tails.
Proof: No cat has eight tails. A cat has one tail more than no cat.
    Therefore, a cat has nine tails.

 
 
Jacob Bunk Nielsen (12-02-2004)
Kommentar
Fra : Jacob Bunk Nielsen


Dato : 12-02-04 22:22

FePe <fepe@SLETtiscali.dk> writes:

> [ ... ] Ved at bruge getprint() i LWP::Simple har jeg fundet ud af,
> at det giver en "403 Forbidden" fejlmeddelelse. Mit spørgsmål er
> egentlig bare, om det er muligt at komme videre herfra, eller har
> Google lagt en blokering ind på en eller anden måde? Det er måske et
> dumt spørgsmål, men som sagt har jeg kun lidt forstand på netværk.

Jeg må beklage at jeg ikke kan hjælpe dig med dit egentlig spørgsmål,
men jeg kan fortælle at Google ikke har en sådan blokering da min
newsreader fx kan hente artikler fra Google (hvis de ikke længere
findes på min normale newsserver) uden problemer, så du må gøre et
eller andet forkert.

--
Jacob - www.bunk.cc
Support your local Search and Rescue unit -- get lost.

FePe (13-02-2004)
Kommentar
Fra : FePe


Dato : 13-02-04 12:16

Jacob Bunk Nielsen wrote:

> FePe <fepe@SLETtiscali.dk> writes:
>
> > [ ... ] Ved at bruge getprint() i LWP::Simple har jeg fundet ud af,
> > at det giver en "403 Forbidden" fejlmeddelelse. Mit spørgsmål er
> > egentlig bare, om det er muligt at komme videre herfra, eller har
> > Google lagt en blokering ind på en eller anden måde? Det er måske et
> > dumt spørgsmål, men som sagt har jeg kun lidt forstand på netværk.
>
> Jeg må beklage at jeg ikke kan hjælpe dig med dit egentlig spørgsmål,
> men jeg kan fortælle at Google ikke har en sådan blokering da min
> newsreader fx kan hente artikler fra Google (hvis de ikke længere
> findes på min normale newsserver) uden problemer, så du må gøre et
> eller andet forkert.

Så må jeg hellere prøve at debugge lidt. Tak for svaret alligevel.

Mvh. FePe.
--
Theorem: a cat has nine tails.
Proof:
No cat has eight tails. A cat has one tail more than no cat.
Therefore, a cat has nine tails.



Jacob Bunk Nielsen (16-02-2004)
Kommentar
Fra : Jacob Bunk Nielsen


Dato : 16-02-04 23:43

FePe <fepe@tiscali.dk> writes:
> Jacob Bunk Nielsen wrote:
>
>> Jeg må beklage at jeg ikke kan hjælpe dig med dit egentlig spørgsmål,
>> men jeg kan fortælle at Google ikke har en sådan blokering da min
>> newsreader fx kan hente artikler fra Google (hvis de ikke længere
>> findes på min normale newsserver) uden problemer, så du må gøre et
>> eller andet forkert.
>
> Så må jeg hellere prøve at debugge lidt. Tak for svaret alligevel.

Jeg kørte lige ngrep mens min newsreader hentede et indlæg fra
grouple. Det HTTP-request der sendes afsted ser således ud:

GET /groups?selm=3fb696d5$0$9796$edfadb0f@dread14.news.tele.dk&output=gplain
HTTP/1.0
User-Agent: mm-url
Host: groups.google.com
Accept: */*
Connection: Keep-Alive

Svaret er mere eller mindre bare indlægget i ren tekst bortset fra et
par headere der er fjernet, fx path. Se selv på
<http://groups.google.com/groups?selm=3fb696d5$0$9796$edfadb0f@dread14.news.tele.dk&output=gplain>.

Måske du kan bruge det til noget.

--
Jacob - www.bunk.cc
Today is what happened to yesterday.

Michael Zedeler (03-03-2004)
Kommentar
Fra : Michael Zedeler


Dato : 03-03-04 08:51

Jacob Bunk Nielsen wrote:

> FePe <fepe@SLETtiscali.dk> writes:
>
>>[ ... ] Ved at bruge getprint() i LWP::Simple har jeg fundet ud af,
>>at det giver en "403 Forbidden" fejlmeddelelse. Mit spørgsmål er
>>egentlig bare, om det er muligt at komme videre herfra, eller har
>>Google lagt en blokering ind på en eller anden måde? Det er måske et
>>dumt spørgsmål, men som sagt har jeg kun lidt forstand på netværk.
>
> Jeg må beklage at jeg ikke kan hjælpe dig med dit egentlig spørgsmål,
> men jeg kan fortælle at Google ikke har en sådan blokering da min
> newsreader fx kan hente artikler fra Google (hvis de ikke længere
> findes på min normale newsserver) uden problemer, så du må gøre et
> eller andet forkert.

Er der ikke den forskel at du (Jacob) bruger NNTP imens "FePe" henter
nyhederne via HTTP (Googles webinterface)?

Til FePe: måske det var en idé at kigge lidt på NNTP.

Mvh. Michael.

Adam Sjøgren (03-03-2004)
Kommentar
Fra : Adam Sjøgren


Dato : 03-03-04 16:06

On Wed, 03 Mar 2004 08:50:30 +0100, Michael wrote:

> Er der ikke den forskel at du (Jacob) bruger NNTP imens "FePe"
> henter nyhederne via HTTP (Googles webinterface)?

Jacobs newsreader henter artiklerne via http på groups.google.com.
(eks.: <http://my.gnus.org/node/view/95>).

(Google har ikke nntp-adgang.
<http://groups.google.com/googlegroups/help.html#newsreader>)


Mvh.

--
"Mr. Cotton's... parrot. Same question." Adam Sjøgren
asjo@koldfront.dk

Thorbjørn Ravn Ander~ (16-02-2004)
Kommentar
Fra : Thorbjørn Ravn Ander~


Dato : 16-02-04 13:05

FePe wrote:

> eller har Google lagt en blokering ind på en eller anden måde? Det er

Se http://www.google.com/apis/

--
Thorbjoern Ravn Andersen "...plus...Tubular Bells!"

FePe (16-02-2004)
Kommentar
Fra : FePe


Dato : 16-02-04 17:32

Thorbjørn Ravn Andersen wrote:

> FePe wrote:
>
> > eller har Google lagt en blokering ind på en eller anden måde? Det er
>
> Se http://www.google.com/apis/

Det var lige det, jeg skulle bruge - havde egentlig stødt på det før, men
har så bare glemt det.

Mvh. FePe.
--
Theorem: a cat has nine tails.
Proof:
No cat has eight tails. A cat has one tail more than no cat.
Therefore, a cat has nine tails.



Lars Balker Rasmusse~ (16-02-2004)
Kommentar
Fra : Lars Balker Rasmusse~


Dato : 16-02-04 20:38

Thorbjørn Ravn Andersen <nospam0000@c.dk> writes:
> FePe wrote:
>
>> eller har Google lagt en blokering ind på en eller anden måde? Det er
>
> Se http://www.google.com/apis/

Deres FAQ siger ellers:

2. Can Google APIs be used to access Google Groups? Image search?
Directory search?

No. The Google Web APIs service can only be used to search
Google's main index of 3 billion web pages.
--
Lars Balker Rasmussen http://consult-perl.dk
Consult::Perl

Thorbjørn Ravn Ander~ (17-02-2004)
Kommentar
Fra : Thorbjørn Ravn Ander~


Dato : 17-02-04 10:40

Lars Balker Rasmussen wrote:

> No. The Google Web APIs service can only be used to search
> Google's main index of 3 billion web pages.

Der kan man se. Fandt du så også et bedre svar på spørgsmålet?

Og har du fået Gnus til at bruge google som "backup"-nntp server?
--
Thorbjoern Ravn Andersen "...plus...Tubular Bells!"

Lars Balker Rasmusse~ (17-02-2004)
Kommentar
Fra : Lars Balker Rasmusse~


Dato : 17-02-04 11:14

Thorbjørn Ravn Andersen <nospam0000@c.dk> writes:
> Lars Balker Rasmussen wrote:
>> No. The Google Web APIs service can only be used to search
>> Google's main index of 3 billion web pages.
>
> Der kan man se. Fandt du så også et bedre svar på spørgsmålet?

Næh.

> Og har du fået Gnus til at bruge google som "backup"-nntp server?

News fylder ikke helt så meget i min tilværelse til at jeg får
koldsved hvis serveren er nede. Ihvertfald ikke længere.
--
Lars Balker Rasmussen http://consult-perl.dk
Consult::Perl

Adam Sjøgren (18-02-2004)
Kommentar
Fra : Adam Sjøgren


Dato : 18-02-04 02:18

On Tue, 17 Feb 2004 10:40:20 +0100, Thorbjørn wrote:

[...]

> Og har du fået Gnus til at bruge google som "backup"-nntp server?

Jeg bruger ca. dette:

(setq gnus-refer-article-method
;; First try to load the article from your local newsserver or nnml
'(current
;; If it's not available, fetch it from another newsserver
(nntp "news.sunsite.dk")
;; At last try Google Groups
(nnweb "google" (nnweb-type google))))

- det virker fint her.


Mvh.

--
"Ours is wicked cool." Adam Sjøgren
asjo@koldfront.dk

Søg
Reklame
Statistik
Spørgsmål : 177577
Tips : 31968
Nyheder : 719565
Indlæg : 6409071
Brugere : 218888

Månedens bedste
Årets bedste
Sidste års bedste