/ Forside / Karriere / Uddannelse / Højere uddannelser / Nyhedsindlæg
Login
Glemt dit kodeord?
Brugernavn

Kodeord


Reklame
Top 10 brugere
Højere uddannelser
#NavnPoint
Nordsted1 1588
erling_l 1224
ans 1150
dova 895
gert_h 800
molokyle 661
berpox 610
creamygirl 610
3773 570
10  jomfruane 570
Download Internettet
Fra : Thomas Lindgaard


Dato : 16-10-04 13:32

Hejsa

Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
disk skulle man så have?

Er der en der ligger inde med noget statistik over antallet af sider, den
gennemsnitlige størrelse på en side, ...?

Mvh.
/Thomas

 
 
Jan Pedersen (16-10-2004)
Kommentar
Fra : Jan Pedersen


Dato : 16-10-04 16:12


"Thomas Lindgaard" <thomas@it-snedkeren.BLACK_HOLE.dk> skrev i en meddelelse
news:pan.2004.10.16.12.32.00.250760@it-snedkeren.BLACK_HOLE.dk...
> Hejsa
>
> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?
>
> Er der en der ligger inde med noget statistik over antallet af sider, den
> gennemsnitlige størrelse på en side, ...?
>
> Mvh.
Ville nok tage det meste af et liv :) Med mindre du sidder på noget 100Mbit
linje ?! :)



Thomas Lindgaard (17-10-2004)
Kommentar
Fra : Thomas Lindgaard


Dato : 17-10-04 00:12

On Sat, 16 Oct 2004 17:11:55 +0200, Jan Pedersen wrote:

> Ville nok tage det meste af et liv :) Med mindre du sidder på noget 100Mbit
> linje ?! :)

Æv - vil det sige at min 512/128 ADSL ikke kan gøre det? :)

Tak for svarene, folkens. Jeg må vist slå mig til tåls med det antal
sider Google angiver og den gennemsnitsstørrelse som man kan udlede fra
følgende artikel:

http://research.compaq.com/SRC/mercator/papers/www/paper.html

(se figuren lige før konklusionen).

Mvh.
/Thomas

Konrad (16-10-2004)
Kommentar
Fra : Konrad


Dato : 16-10-04 16:16

"Thomas Lindgaard" <thomas@it-snedkeren.BLACK_HOLE.dk> wrote in message
news:pan.2004.10.16.12.32.00.250760@it-snedkeren.BLACK_HOLE.dk...
> Hejsa
>
> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?

Uden at ville agere specielt "videnskabelig" : Det er ganske enkelt umuligt
at svare på.

> Er der en der ligger inde med noget statistik over antallet af sider, den
> gennemsnitlige størrelse på en side, ...?

Google har pt ifølge dem selv 4.285.199.774 sider indekseret, men i tilgift
til det findes der jo myriader af dynamisk genererede sider, så det reelle
tal er helt sikkert langt større end det. Hvis man SPT anslår at en
gennemsnitlig side er på 15 kb (??) bruger Google vel mindst
15*1.024*4.285.199.774=65.820.668.528.640 bytes=59.863549 terabyte - som de
alene bruger til caching, og hertil skal lægges et enormt backuplager da
Google bruger harddiskkapaictet og ikke RAID eller andre backupformer.
Harddiskkapacitet på 60 terabyte vil alene i f.eks DELL 250GB HDD'ere a
3.419 kr koste sammenlagt 838.339 kr



Bertel Lund Hansen (16-10-2004)
Kommentar
Fra : Bertel Lund Hansen


Dato : 16-10-04 16:17

Konrad skrev:

>Harddiskkapacitet på 60 terabyte vil alene i f.eks DELL 250GB HDD'ere a
>3.419 kr koste sammenlagt 838.339 kr

Og så har du ikke taget hensyn til at nogle af linkene på nettet
fører til megastore filer og ikke små nuttede hjemmesider.
Redahat ligger f.eks. til download rundt omkring, og den fylder
to cd'er.

--
Bertel
http://bertel.lundhansen.dk/   FIDUSO: http://fiduso.dk/

Konrad (16-10-2004)
Kommentar
Fra : Konrad


Dato : 16-10-04 16:46

"Bertel Lund Hansen" <nospamius@lundhansen.dk> wrote in message
news:lpe2n0p1gmivm485cl6pbgpqicp84edhid@news.stofanet.dk...
> Konrad skrev:
>
> >Harddiskkapacitet på 60 terabyte vil alene i f.eks DELL 250GB HDD'ere a
> >3.419 kr koste sammenlagt 838.339 kr
>
> Og så har du ikke taget hensyn til at nogle af linkene på nettet
> fører til megastore filer og ikke små nuttede hjemmesider.
> Redahat ligger f.eks. til download rundt omkring, og den fylder
> to cd'er.

Ikke helt "glemt" det, for Thomas efterlyste antallet af "sider" - Google
cacher jo heller ikke fil-links på sider...Men klart - jeg tænkte lidt på
det samme, men mere mht de dynamiske sider der eksponerer megastore
databaser.



Brian Lund (19-10-2004)
Kommentar
Fra : Brian Lund


Dato : 19-10-04 03:48

> Google har pt ifølge dem selv 4.285.199.774 sider indekseret, men i
tilgift
> til det findes der jo myriader af dynamisk genererede sider, så det reelle
> tal er helt sikkert langt større end det. Hvis man SPT anslår at en
> gennemsnitlig side er på 15 kb (??) bruger Google vel mindst
> 15*1.024*4.285.199.774=65.820.668.528.640 bytes=59.863549 terabyte - som
de
> alene bruger til caching, og hertil skal lægges et enormt backuplager da
> Google bruger harddiskkapaictet og ikke RAID eller andre backupformer.
> Harddiskkapacitet på 60 terabyte vil alene i f.eks DELL 250GB HDD'ere a
> 3.419 kr koste sammenlagt 838.339 kr

Det vil så tage Thomas mindst 31,8475 år at downloade bare googles
cachelager på hans 512 Kb download linie, på en 100 Mbit ville det tage
mindst 58 døgn 2 timer og 55 minutter!

Hvis man så antager at hver hjemmeside i gennemsnit tager 0,5 MB plads, ja
så er det de tider ganget med 34,13333!
Der er jo trodsalt mange store filer på nogen servere :)

Brian



Gismo (20-10-2004)
Kommentar
Fra : Gismo


Dato : 20-10-04 20:53

Brian Lund wrote:
> Det vil så tage Thomas mindst 31,8475 år at downloade bare googles
> cachelager på hans 512 Kb download linie, på en 100 Mbit ville det
> tage mindst 58 døgn 2 timer og 55 minutter!

Jeg har 100 mbit net. Hvis du stiller diske til rådighed er jeg frisk på at
prøve ;)

--
Gismo



Mads (16-10-2004)
Kommentar
Fra : Mads


Dato : 16-10-04 16:20

"Thomas Lindgaard" <thomas@it-snedkeren.BLACK_HOLE.dk> wrote in message
news:pan.2004.10.16.12.32.00.250760@it-snedkeren.BLACK_HOLE.dk...
> Hejsa
>
> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?
>
> Er der en der ligger inde med noget statistik over antallet af sider, den
> gennemsnitlige størrelse på en side, ...?
>
Husk på at internettet er jo meget mere World Wide Web...

Gad vide hvordan man downloader en SSH server, nogen der kender et godt
program?!?!?!



Glenn Møller-Holst (16-10-2004)
Kommentar
Fra : Glenn Møller-Holst


Dato : 16-10-04 18:16

Thomas Lindgaard wrote:

> Hejsa
>
> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?
>
> Er der en der ligger inde med noget statistik over antallet af sider, den
> gennemsnitlige størrelse på en side, ...?
>
> Mvh.
> /Thomas

Hej Thomas

Internettet er både www, nyhedsgrupper, påkoblede databaser...osv.

Hvis du indskrænker dig til www, kunne du spørge:

http://web.archive.org/
Citat: "...Browse through 30 billion web pages archived from 1996 to a
few months ago..."


http://www.archive.org/web/hardware.php
Citat: "...The HP computers were about $1180 each. A rack holds 32
(without a switch) so that's $37760 per rack. The racks with switches
can only hold 31 and the switch is about $3000 so those racks are $39580
each..."

http://web.archive.org/web/*/http://dmi.dk

Siden viser backup af DMIs hjemmeside, flere gange om året, startende i
1996!

Men det er ikke altid med billeder - DMI anno december 1996:

http://web.archive.org/web/19961221165806/http://www.dmi.dk/

mvh/Glenn

-

Peter Makholm (16-10-2004)
Kommentar
Fra : Peter Makholm


Dato : 16-10-04 18:23

Glenn Møller-Holst <glenn@bitnisse.onedot.dk> writes:

> http://web.archive.org/
> Citat: "...Browse through 30 billion web pages archived from 1996 to a
> few months ago..."

Det er langt fra hele www de arkivere. Jeg har ofte ledt efter obskure
side som de ikke havde, men hvor de havde sider højere oppe i et
websteds hierarki.

--
Peter Makholm | If you can't do any damage as root, are you still
peter@makholm.net | really root?
http://hacking.dk | -- Derek Gladding about SELinux

Konrad (16-10-2004)
Kommentar
Fra : Konrad


Dato : 16-10-04 18:28

"Peter Makholm" <peter@makholm.net> wrote in message
news:87u0sua87q.fsf@xyzzy.adsl.dk...
> Glenn Møller-Holst <glenn@bitnisse.onedot.dk> writes:
>
> > http://web.archive.org/
> > Citat: "...Browse through 30 billion web pages archived from 1996 to a
> > few months ago..."
>
> Det er langt fra hele www de arkivere. Jeg har ofte ledt efter obskure
> side som de ikke havde, men hvor de havde sider højere oppe i et
> websteds hierarki.

Jeg har præcis samme erfaring(er) med the WayBackMachine - jeg kender den
nøjagtige unikke URL på en side jeg kan huske, og alligevel optræder den
ikke i arkivet.



Mathness (17-10-2004)
Kommentar
Fra : Mathness


Dato : 17-10-04 01:27

"Konrad" <david_konrad@hotmail.com> writes:

> Jeg har præcis samme erfaring(er) med the WayBackMachine - jeg kender den
> nøjagtige unikke URL på en side jeg kan huske, og alligevel optræder den
> ikke i arkivet.

Det er muligt at bede de fleste søge/arkiv bots om ikke at arkivere og
gemme sider og sites. Se f.eks. robots.txt

--
Thomas Klietsch
m a t h n e s s @ z 4 2 . d k

Per Abrahamsen (27-10-2004)
Kommentar
Fra : Per Abrahamsen


Dato : 27-10-04 14:58

Thomas Lindgaard <thomas@it-snedkeren.BLACK_HOLE.dk> writes:

> Hvis nu man skulle få lyst til at downloade Internettet - hvor stor en
> disk skulle man så have?

Tillægsspørgsmål: Hvis man offentliggør sit arkiv på nettet, hvor
stor skal disken *så* være?

Søg
Reklame
Statistik
Spørgsmål : 177552
Tips : 31968
Nyheder : 719565
Indlæg : 6408848
Brugere : 218887

Månedens bedste
Årets bedste
Sidste års bedste