/ Forside / Teknologi / Operativsystemer / Linux / Nyhedsindlæg
Login
Glemt dit kodeord?
Brugernavn

Kodeord


Reklame
Top 10 brugere
Linux
#NavnPoint
o.v.n. 11177
peque 7911
dk 4814
e.c 2359
Uranus 1334
emesen 1334
stone47 1307
linuxrules 1214
Octon 1100
10  BjarneD 875
Hvilket linux filsystem skal jeg vælge
Fra : Morten Guldager


Dato : 03-03-05 20:20

Hejsa,

Jeg sidder og nørkler med en applikation som skal cache
en hulens masse data på disken.

Hvilket linux filsystem skal jeg vælge hvis jeg gerne
vil have rigtig mange filer i samme katalog?
Måske 5.000.000 filer af 10kb stykket.

Jeg kunne naturligvis også implementere noget snask i
koden som fordeler mine filer ud på et antal under-
kataloger, men det ville jo være cool at spare det væk.

Perfornce er vigtigt. Redundans og fejltolerence er
mindre væsentligt. (det må dog ikke være super alfa
kode som trasher data efter et par sekunders aktivitet


/Morten

 
 
Jes Vestervang (03-03-2005)
Kommentar
Fra : Jes Vestervang


Dato : 03-03-05 20:46

Morten Guldager <Morten.Guldager@gmail.com> writes:

> Hvilket linux filsystem skal jeg vælge hvis jeg gerne
> vil have rigtig mange filer i samme katalog?

Martin K. Petersen skrev en god forklaring om de forskellige
filsystemers fordele og ulemper for noget tid siden:
<http://groups-beta.google.com/group/dk.edb.system.unix/msg/39b2a0cdfb9543d>
--
mvh Jes Vestervang @ Debian Sid

Rasmus Bøg Hansen (03-03-2005)
Kommentar
Fra : Rasmus Bøg Hansen


Dato : 03-03-05 21:00

Morten Guldager <Morten.Guldager@gmail.com> hit the keyboard.
Afterwards the following was on the screen:

> Hvilket linux filsystem skal jeg vælge hvis jeg gerne
> vil have rigtig mange filer i samme katalog?
> Måske 5.000.000 filer af 10kb stykket.

Reiserfs siges at være godt til det - om den oplysning stadig er
gældende, skal jeg dog ikke kunne sige med sikkerhed.

> Jeg kunne naturligvis også implementere noget snask i
> koden som fordeler mine filer ud på et antal under-
> kataloger, men det ville jo være cool at spare det væk.

Det er nok bedre at overveje; det er den måde squid (webcachen)
normalt gemmer sin cache på. Med en velvalgt hashfunktion, kan det
sandsynligvis gøres ret effektivt.

/Rasmus

--
-- [ Rasmus "Møffe" Bøg Hansen ] ---------------------------------------
Defense??
What am I to defend??
Am I in war??
----------------------------------------------[ moffe at zz9 dot dk ] --

Niels Elgaard Larsen (03-03-2005)
Kommentar
Fra : Niels Elgaard Larsen


Dato : 03-03-05 22:47

Rasmus Bøg Hansen skrev:

> Morten Guldager <Morten.Guldager@gmail.com> hit the keyboard.
> Afterwards the following was on the screen:
>
>> Hvilket linux filsystem skal jeg vælge hvis jeg gerne
>> vil have rigtig mange filer i samme katalog?
>> Måske 5.000.000 filer af 10kb stykket.
>
> Reiserfs siges at være godt til det - om den oplysning stadig er
> gældende, skal jeg dog ikke kunne sige med sikkerhed.

Ja, og Reiser4 kunne være værd at kigge på til den slags.

--
Niels Elgaard Larsen
http://www.agol.dk/elgaard

Morten Guldager (04-03-2005)
Kommentar
Fra : Morten Guldager


Dato : 04-03-05 21:08

2005-03-03 Rasmus Bøg Hansen wrote
> Morten Guldager <Morten.Guldager@gmail.com> hit the keyboard.
> Afterwards the following was on the screen:
>
>> Hvilket linux filsystem skal jeg vælge hvis jeg gerne
>> vil have rigtig mange filer i samme katalog?
>> Måske 5.000.000 filer af 10kb stykket.
>
> Reiserfs siges at være godt til det - om den oplysning stadig er
> gældende, skal jeg dog ikke kunne sige med sikkerhed.

Nu tester jeg.....

Jeg har lavet en lille loop som producerer filer på 30 bytes.

1000 batches af 1000 filer. Altså en million filer når den er færdig.

De første batches tog i omegnen af 6.2 sekund stykket.

Nu er jeg kommet til batch 850 og det tager lidt over 6.3 sekund
at oprette mine 1000 filer.

Altså ser det ikke ud til at være gået galt ved de 850.000 filer.

Hvis jeg så lige, mens den stadig står og skeiver filer, vil læse
en af de filer den skrev for en halv time siden, så går det lige
så hurtigt som hvis jeg læste samme fil i et næsten tomt katalog.

Jeg synes det er lidt vildt.....


/Morten

Ivar Madsen (04-03-2005)
Kommentar
Fra : Ivar Madsen


Dato : 04-03-05 21:24

Morten Guldager wrote:

> Nu tester jeg.....

Det er meget godt, men du skal lige have styr på hvad det er du tester.

> Jeg har lavet en lille loop som producerer filer på 30 bytes.
> 1000 batches af 1000 filer. Altså en million filer når den er færdig.
> De første batches tog i omegnen af 6.2 sekund stykket.
> Nu er jeg kommet til batch 850 og det tager lidt over 6.3 sekund
> at oprette mine 1000 filer.
> Altså ser det ikke ud til at være gået galt ved de 850.000 filer.
> Hvis jeg så lige, mens den stadig står og skeiver filer, vil læse
> en af de filer den skrev for en halv time siden, så går det lige
> så hurtigt som hvis jeg læste samme fil i et næsten tomt katalog.
> Jeg synes det er lidt vildt.....

Det lyder vildt, men jeg tror at det er filer der ligger i cachen, hvor stor
er den? du kan se det i "top"

Hvis jeg har ret, så er det filer der udover på disken, også ligger i
RAM'en, og læses derfra. Det er jo heller ikke så meget der skrives, 30.000
byte. Igen, er du sikker på at den tid du måler er den tid der bruges på at
skrive til disken, eller skrive til cachen?

--
Med venlig hilsen

Ivar Madsen

Morten Guldager (04-03-2005)
Kommentar
Fra : Morten Guldager


Dato : 04-03-05 22:13

2005-03-04 Ivar Madsen wrote
> Morten Guldager wrote:
>
>> Nu tester jeg.....
>
> Det er meget godt, men du skal lige have styr på hvad det er du tester.
>
>> Jeg har lavet en lille loop som producerer filer på 30 bytes.
>> 1000 batches af 1000 filer. Altså en million filer når den er færdig.
>> De første batches tog i omegnen af 6.2 sekund stykket.
>> Nu er jeg kommet til batch 850 og det tager lidt over 6.3 sekund
>> at oprette mine 1000 filer.
>> Altså ser det ikke ud til at være gået galt ved de 850.000 filer.
>> Hvis jeg så lige, mens den stadig står og skeiver filer, vil læse
>> en af de filer den skrev for en halv time siden, så går det lige
>> så hurtigt som hvis jeg læste samme fil i et næsten tomt katalog.
>> Jeg synes det er lidt vildt.....
>
> Det lyder vildt, men jeg tror at det er filer der ligger i cachen, hvor stor
> er den? du kan se det i "top"

Pænt stor. Jeg har også en del ram i min maskine...

Men et kald til sync tog "ingen tid", så det er nok ikke alverden der
har ligget i min cache.
Men det kan da sagtens være at alle skrivninger er gået til en journal for
så at blive skrevet på disken i store klodser.
Men det er også fint nok for mig.
Det vigtige er at jeg kan læse effiktivt fra min cache.

Med ext3 brænder det sammen allerede ved få tusinde filer.

> Hvis jeg har ret, så er det filer der udover på disken, også ligger i
> RAM'en, og læses derfra. Det er jo heller ikke så meget der skrives, 30.000
> byte.

30 * 1000 * 1000 er mere end 30.000

Jeg har en million filer af 30 bytes liggende ved siden af hindanden.

> Igen, er du sikker på at den tid du måler er den tid der bruges på at
> skrive til disken, eller skrive til cachen?

Det er vel lidt lige meget. Det går vildt hurtigt når jeg læser mine data
igen.

Nu har jeg lige haft min disk unmountet og mountet igen, hvilket burde sikre
mig at cachen er tom.

Men når jeg læser en tilfældig fil tager det 0.05 sekund. (med de
unøjaktigheder som time har)


/Morten

Jacob Tranholm (04-03-2005)
Kommentar
Fra : Jacob Tranholm


Dato : 04-03-05 22:40

Morten Guldager wrote:
>
> Nu tester jeg.....
>
> Jeg har lavet en lille loop som producerer filer på 30 bytes.
>
> 1000 batches af 1000 filer. Altså en million filer når den er færdig.
>
> De første batches tog i omegnen af 6.2 sekund stykket.
>
> Nu er jeg kommet til batch 850 og det tager lidt over 6.3 sekund
> at oprette mine 1000 filer.
>
> Altså ser det ikke ud til at være gået galt ved de 850.000 filer.
>
> Hvis jeg så lige, mens den stadig står og skeiver filer, vil læse
> en af de filer den skrev for en halv time siden, så går det lige
> så hurtigt som hvis jeg læste samme fil i et næsten tomt katalog.
>
> Jeg synes det er lidt vildt.....
>
>
> /Morten

ReiserFS er vidunderligt hvis der er tale om håndtering af mange små filer.
For mig personligt anvender jeg Gentoo Linux, hvor Portage
pakkehåndteringen forudsætter at man har et directory (/usr/portage) hvori
der ligger omkring 100.000 små filer. - Oprindeligt installerede jeg dette
på et ext3-filsystem, men her blev der allokeret enorme mængder spildplads
pga. de mange filer. Jeg eksperimenterede lidt med det, og jeg sparer
næsten 1/2 GB harddiskplads alene i dette directory ved i stedet at anvende
ReiserFS...

Jeg må dog indrømme, at jeg anvender ReiserFS version 3.6 (og ikke 4.?).

Og systemet er bestemt ikke blevet langsommere (eller ustabilt) siden
overgangen til ReiserFS, men jeg har ikke testet dette til bunds endnu.

Held og lykke med de fremtidige eksperimenter...


Morten Guldager (05-03-2005)
Kommentar
Fra : Morten Guldager


Dato : 05-03-05 07:54

2005-03-04 Jacob Tranholm wrote
>
> Jeg må dog indrømme, at jeg anvender ReiserFS version 3.6 (og ikke 4.?).

Samme her. Min mkreiserfs siger den er version 3.6.13, så mon ikke det
er samme version der er læsset i SuSE's standard kerne?


/Morten

Preben Holm (08-03-2005)
Kommentar
Fra : Preben Holm


Dato : 08-03-05 18:13

Morten Guldager wrote:
> 2005-03-04 Jacob Tranholm wrote
>
>>Jeg må dog indrømme, at jeg anvender ReiserFS version 3.6 (og ikke 4.?).
>
>
> Samme her. Min mkreiserfs siger den er version 3.6.13, så mon ikke det
> er samme version der er læsset i SuSE's standard kerne?

Jeg må dog ærligt sige, at Reiser4 virkelig er lækkert! Det kan godt
mærkes på min gentoo at portage kører væsentligt hurtigere end med ReiserFS.
Det skal dog siges at XFS angiveligt er væsentligt hurtigere end
ReiserFS hvilket jeg stadig kører på min stationære, men iflg.
benchmarks slår Reiser4 XFS med en lille smule.

Læs evt. mere på namesys.com

Preben Holm (08-03-2005)
Kommentar
Fra : Preben Holm


Dato : 08-03-05 18:16

> Jeg må dog ærligt sige, at Reiser4 virkelig er lækkert! Det kan godt
> mærkes på min gentoo at portage kører væsentligt hurtigere end med
> ReiserFS.
> Det skal dog siges at XFS angiveligt er væsentligt hurtigere end
> ReiserFS hvilket jeg stadig kører på min stationære, men iflg.
> benchmarks slår Reiser4 XFS med en lille smule.
>
> Læs evt. mere på namesys.com

Glemte lige at sige, at Reiser4 skulle være noget af det bedste til de
små filer.
Dog er den endnu ikke stable i vanilla-kernen endnu!
MM-sources eller love-sources har reiser4 som standard. Ellers er det jo
muligt at patche vanilla-sources.


Med venlig hilsen
Preben Holm

Adam Sjøgren (04-03-2005)
Kommentar
Fra : Adam Sjøgren


Dato : 04-03-05 22:34

On Fri, 04 Mar 2005 21:12:47 GMT, Morten wrote:

> Med ext3 brænder det sammen allerede ved få tusinde filer.

Hvordan klarer XFS og JFS sig i forhold til? (Nysgerrig


Mvh.

--
"It troo! Dat darn Kahlfin stole ma spacechip!" Adam Sjøgren
asjo@koldfront.dk

Morten Guldager (05-03-2005)
Kommentar
Fra : Morten Guldager


Dato : 05-03-05 07:52

2005-03-04 Adam Sjøgren wrote
> On Fri, 04 Mar 2005 21:12:47 GMT, Morten wrote:
>
>> Med ext3 brænder det sammen allerede ved få tusinde filer.
>
> Hvordan klarer XFS og JFS sig i forhold til? (Nysgerrig

Ved ikk. Jeg har ikke forsøgt.

For at lave reiser filsystemet skrev jeg:

mkreiserfs /dev/hdd1

på min suse-9.1 klods. Jeg ulejligede med ikke med at læse
manualer og slige sager. Så jeg ved ikke om filsystemet er
tunet til opgaven.

Hvad skal jeg skrive for at lave mig et XFS eller JFS istedet?
(målet er stadig ikke at læse manualer)

Hvis det er let for mig skal jeg gerne teste på samme maskine
med samme løkke at lave de 1000000 filer på andre filsystemtyper.



/Morten


Allan Joergensen (05-03-2005)
Kommentar
Fra : Allan Joergensen


Dato : 05-03-05 09:06

Morten Guldager <Morten.Guldager@gmail.com> wrote:

> Hvad skal jeg skrive for at lave mig et XFS eller JFS istedet?
> (målet er stadig ikke at læse manualer)

mkfs.jfs
mkfs.xfs

Det er i hvert fald tilfældet på min Ubuntu-box. Jeg gider ikke lige
hoppe på VPN for at se på en SuSE maskine :)

mvh
--
Allan Joergensen

"Bother!" said Pooh, as he reached for the reset button.

Morten Guldager (05-03-2005)
Kommentar
Fra : Morten Guldager


Dato : 05-03-05 12:53

2005-03-04 Adam Sjøgren wrote
> On Fri, 04 Mar 2005 21:12:47 GMT, Morten wrote:
>
>> Med ext3 brænder det sammen allerede ved få tusinde filer.
>
> Hvordan klarer XFS og JFS sig i forhold til? (Nysgerrig

JFS gav samme resultater som reiserfs, måske en procent langsommere.

XFS skalerer også liniært, men er lidt langsommere. Her tager
en batch i omegnen af 8 sekunder.

Hvis andre skal bruge resultaterne til noget vil jeg dog anbefale
at lave testene lidt mere systematiske.


/Morten

Adam Sjøgren (05-03-2005)
Kommentar
Fra : Adam Sjøgren


Dato : 05-03-05 15:33

On Sat, 05 Mar 2005 11:53:02 GMT, Morten wrote:

> 2005-03-04 Adam Sjøgren wrote

>> Hvordan klarer XFS og JFS sig i forhold til? (Nysgerrig

> JFS gav samme resultater som reiserfs, måske en procent langsommere.

> XFS skalerer også liniært, men er lidt langsommere. Her tager en
> batch i omegnen af 8 sekunder.

Ok, godt at vide at der ikke er den store forskel på trods af Reisers
berømte "god til små filer"-optimering.

> Hvis andre skal bruge resultaterne til noget vil jeg dog anbefale at
> lave testene lidt mere systematiske.

Klart


Tak!

--
"It troo! Dat darn Kahlfin stole ma spacechip!" Adam Sjøgren
asjo@koldfront.dk

Søg
Reklame
Statistik
Spørgsmål : 177559
Tips : 31968
Nyheder : 719565
Indlæg : 6408929
Brugere : 218888

Månedens bedste
Årets bedste
Sidste års bedste