---

Hvor mange mapper/filer må der være i samme mappe, før det bliver et problem
med hastigheden (ext2/3&Reiser)?

Hvad med f.eks. MySQL der typisk ligger en masse mapper i /var/lib/mysql -
findes der en anden måde at gøre dette på?

--
Mvh
Michael

---

I dk.edb.system.unix, skrev Michael:
> Hvor mange mapper/filer må der være i samme mappe, før det bliver et problem
> med hastigheden (ext2/3&Reiser)?
>
> Hvad med f.eks. MySQL der typisk ligger en masse mapper i /var/lib/mysql -
> findes der en anden måde at gøre dette på?

Med kerne 2.6 kommer der indekserede direktorier i ext3 så du kan evt
vente på dette. Jeg har dog meget svært ved at tro du har noget reelt
problem, hvor mange mapper har du da?

( find /var/lib/mysql -type d | wc -l )

--
../Jesper Krogh, jesper@krogh.cc
Jabber ID: jesper@jabbernet.dk
Tøm din hjerne for Linuxviden på http://www.linuxwiki.dk

---

"Jesper Krogh" <jesper@krogh.cc> wrote in message
news:bpq2pq$ofn$2@r2d2.krogh.cc...
> > Hvad med f.eks. MySQL der typisk ligger en masse mapper i
/var/lib/mysql -
> > findes der en anden måde at gøre dette på?
>
> Med kerne 2.6 kommer der indekserede direktorier i ext3 så du kan evt
> vente på dette. Jeg har dog meget svært ved at tro du har noget reelt
> problem, hvor mange mapper har du da?

Hvor følger i udviklingen af denne kerne? Jeg har set løseligt enkelte ting
rundt omkring, men er der et sted med et godt overblik?

> ( find /var/lib/mysql -type d | wc -l )

tilfældig boks: 2563

--
Mvh
Michael

---

I dk.edb.system.unix, skrev Michael Andreasen - 1go.dk:
> > Med kerne 2.6 kommer der indekserede direktorier i ext3 så du kan evt
> > vente på dette. Jeg har dog meget svært ved at tro du har noget reelt
> > problem, hvor mange mapper har du da?
>
> Hvor følger i udviklingen af denne kerne? Jeg har set løseligt enkelte ting
> rundt omkring, men er der et sted med et godt overblik?

Jeg følger med på Kernel Traffic:
http://kt.zork.net/kernel-traffic/index.html

Der kommer ofte pointere til alt muligt.

> > ( find /var/lib/mysql -type d | wc -l )
>
> tilfældig boks: 2563


Huh.. Det var godtnok mange, Jeg ville overveje at gå på MySQL 4.* og
skifte til InnoDB, så håndterer mysql selv dette internt.

--
../Jesper Krogh, jesper@krogh.cc
Jabber ID: jesper@jabbernet.dk
Tøm din hjerne for Linuxviden på http://www.linuxwiki.dk

---

"Jesper Krogh" <jesper@krogh.cc> wrote in message
news:bpq3b7$ofn$3@r2d2.krogh.cc...
> Jeg følger med på Kernel Traffic:
> http://kt.zork.net/kernel-traffic/index.html

tak.

> > > ( find /var/lib/mysql -type d | wc -l )
> >
> > tilfældig boks: 2563
>
> Huh.. Det var godtnok mange, Jeg ville overveje at gå på MySQL 4.* og
> skifte til InnoDB, så håndterer mysql selv dette internt.

Ja det er netop det der er problemet. Jeg kan desværre ikke bare lige lave
alle databaser om til innoDB eller lignende. Synes iøvrigt dokumentationen
til dette virker lige lovlig tynd (sidst jeg kiggede)

Undrer mig over der ikke allerede er lavet en løsning på dette "problem" -
har søgt mange steder uden held. Boksen kører dog iøvrigt fint nok (endnu)


--
Mvh
Michael

---

I dk.edb.system.unix, skrev Michael:
> Ja det er netop det der er problemet. Jeg kan desværre ikke bare lige lave
> alle databaser om til innoDB eller lignende. Synes iøvrigt dokumentationen
> til dette virker lige lovlig tynd (sidst jeg kiggede)

Jeg gjorde det på en maskine i forrige uge, jeg syntes dokumentationen
var op til vanlig standard fra MySQL's side ( Læs: fremragende )

> Undrer mig over der ikke allerede er lavet en løsning på dette "problem" -
> har søgt mange steder uden held. Boksen kører dog iøvrigt fint nok (endnu)
>

Jeg tror det er de færreste der har over 3.000 databaser i en mysql
installation eller over 3.000 tabeller i hver database.

--
../Jesper Krogh, jesper@krogh.cc
Jabber ID: jesper@jabbernet.dk
Tøm din hjerne for Linuxviden på http://www.linuxwiki.dk

---

"Jesper Krogh" <jesper@krogh.cc> wrote in message
news:bpq5di$ofn$4@r2d2.krogh.cc...
> > Undrer mig over der ikke allerede er lavet en løsning på dette
"problem" -
> > har søgt mange steder uden held. Boksen kører dog iøvrigt fint nok
(endnu)
> >
>
> Jeg tror det er de færreste der har over 3.000 databaser i en mysql
> installation eller over 3.000 tabeller i hver database.

Ja det er nok rigtigt. Men ikke desto mindre tilfældet her :)

Jeg har dog flere muligheder, f.eks. at smide tingene over på en netapp,
splitte tingene ud på flere bokse m.m. Men netap modellen flytter egentligt
kun proplemet, så benytte flere bokse er nok mit bedste bud.

Størstedelen af databaserne er dog sjældent brugt, hvilket forklarer hvorfor
boksen ikke er sendt til tælling endnu :)

--
Mvh
Michael

---

Den Sun, 23 Nov 2003 11:46:04 +0100 skrev Michael Andreasen - 1go.dk:
>"Jesper Krogh" <jesper@krogh.cc> wrote in message
>news:bpq2pq$ofn$2@r2d2.krogh.cc...
>> > Hvad med f.eks. MySQL der typisk ligger en masse mapper i
>/var/lib/mysql -
>> > findes der en anden måde at gøre dette på?
>>
>> Med kerne 2.6 kommer der indekserede direktorier i ext3 så du kan evt
>> vente på dette. Jeg har dog meget svært ved at tro du har noget reelt
>> problem, hvor mange mapper har du da?
>
>Hvor følger i udviklingen af denne kerne? Jeg har set løseligt enkelte ting
>rundt omkring, men er der et sted med et godt overblik?
>
>> ( find /var/lib/mysql -type d | wc -l )
>
>tilfældig boks: 2563

Det ser da ikke så slemt ud. Efter hvad jeg mener at have læst, er det
først oppe omkring 10000 filer det begynder at blive et problem.

Mvh
Kent
--
Help test this great MMORPG game - http://www.eternal-lands.com/

---

"Kent Friis" <leeloo@phreaker.net> wrote in message
news:bpq771$67j$2@sunsite.dk...
> >> ( find /var/lib/mysql -type d | wc -l )
> >
> >tilfældig boks: 2563
>
> Det ser da ikke så slemt ud. Efter hvad jeg mener at have læst, er det
> først oppe omkring 10000 filer det begynder at blive et problem.

ok... Jeg synes nu heller ikke det er et "helt stort" problem endnu - men
det vil det/kan det med tiden blive hvis jeg ikke gør noget nu

Tror nu blot jeg splitter til flere bokse.

Mvh
Michael

---

I dk.edb.system.unix, skrev Michael:
> "Kent Friis" <leeloo@phreaker.net> wrote in message
> news:bpq771$67j$2@sunsite.dk...
> > >> ( find /var/lib/mysql -type d | wc -l )
> > >
> > >tilfældig boks: 2563
> >
> > Det ser da ikke så slemt ud. Efter hvad jeg mener at have læst, er det
> > først oppe omkring 10000 filer det begynder at blive et problem.
>
> ok... Jeg synes nu heller ikke det er et "helt stort" problem endnu - men
> det vil det/kan det med tiden blive hvis jeg ikke gør noget nu
>
> Tror nu blot jeg splitter til flere bokse.

Hvis du alligevel skal til at sætte nye mysql-servere op, så vil jeg da
anbefale at kigge på InnoDB.

--
../Jesper Krogh, jesper@krogh.cc
Jabber ID: jesper@jabbernet.dk
Tøm din hjerne for Linuxviden på http://www.linuxwiki.dk

---

On Sun, 23 Nov 2003 12:24:34 +0100, Jesper wrote:

> I dk.edb.system.unix, skrev Michael:
>> Ja det er netop det der er problemet. Jeg kan desværre ikke bare
>> lige lave alle databaser om til innoDB eller lignende. Synes
>> iøvrigt dokumentationen til dette virker lige lovlig tynd (sidst
>> jeg kiggede)

> Jeg gjorde det på en maskine i forrige uge, jeg syntes
> dokumentationen var op til vanlig standard fra MySQL's side ( Læs:
> fremragende )

Hvordan er din oplevelse af InnoDB vs. vanlig MyISAM?


Mvh.

--
"Do not feed the oysters under the clouds" Adam Sjøgren
asjo@koldfront.dk

---

"Adam Sjøgren" <spamtrap@koldfront.dk> wrote in message
news:873ccfrx8c.fsf@virgil.koldfront.dk...
> On Sun, 23 Nov 2003 12:24:34 +0100, Jesper wrote:
>
> > I dk.edb.system.unix, skrev Michael:
> >> Ja det er netop det der er problemet. Jeg kan desværre ikke bare
> >> lige lave alle databaser om til innoDB eller lignende. Synes
> >> iøvrigt dokumentationen til dette virker lige lovlig tynd (sidst
> >> jeg kiggede)
>
> > Jeg gjorde det på en maskine i forrige uge, jeg syntes
> > dokumentationen var op til vanlig standard fra MySQL's side ( Læs:
> > fremragende )
>
> Hvordan er din oplevelse af InnoDB vs. vanlig MyISAM?

Nu var det jo ikke mig du spurgte, men jeg har tidligere (for et par mdr
siden) prøvet at konveretere nogle 20+MB databaser

Data kom til at fylde 3 x så meget plads

Alle query test jeg lavede viste stort set de samme tider (mine performance
tests)

rollback features kunne jeg ikke få til at virke.

Documentationen synes jeg ikke var solid nok

Men igen... det var kun forsøg - ikke helhjertede gennemarbejdede løsninger
til produktion. nok nærmere lidt leg i overskudsfritiden :o

--
Mvh
Michael

---

On Sun, 23 Nov 2003 15:20:23 +0100, Michael wrote:

>> Hvordan er din oplevelse af InnoDB vs. vanlig MyISAM?

> Nu var det jo ikke mig du spurgte, men jeg har tidligere (for et par
> mdr siden) prøvet at konveretere nogle 20+MB databaser

(Alle svar er velkomne

> Data kom til at fylde 3 x så meget plads

Er det ikke sådan med InnoDB, at man afsætter en fast størrelse til
databaserne, som MySQL/InnoDB så selv administrerer?

> Alle query test jeg lavede viste stort set de samme tider (mine
> performance tests)

Vil du uddybe "stort set"?

> rollback features kunne jeg ikke få til at virke.

Det burde vel ellers være en af de store fordele ved InnoDB, ikke?


Mvh.

--
"Do not feed the oysters under the clouds" Adam Sjøgren
asjo@koldfront.dk

---

"Adam Sjøgren" <spamtrap@koldfront.dk> wrote in message
news:8765hb5fl3.fsf@virgil.koldfront.dk...
> On Sun, 23 Nov 2003 15:20:23 +0100, Michael wrote:
> Er det ikke sådan med InnoDB, at man afsætter en fast størrelse til
> databaserne, som MySQL/InnoDB så selv administrerer?

tjaee.. ved jeg faktisk ikke.

> > Alle query test jeg lavede viste stort set de samme tider (mine
> > performance tests)
>
> Vil du uddybe "stort set"?

Jeg lavede nogle tabeller som jeg fyldte med mere eller mindre random data.
Taballerne var ens med lige mange rækker for hhv MyISAM og InnoDB - alle
forspørgelser tog lige lang tid svj kunne se. Uanset hvor mange rækker jeg
smed i dem, og uanset typen af f.eks. SELECT

Ligeledes tog jeg nogle produktionsdata og kopierede over til InnoDB og
kørte forskellige tests. Nu tog jeg ikke notater da det var leg (lidt dumt)
men der var i mine tilfælde +/- et par procent til den ene eller anden side.
Jeg kunne ikke opnå de gevaldige performance forskelle (+20-40%) som jeg
synes at have læst om.

Men jeg har nok ikke nået den belastning hvor InnoDB sikkert "trækker" fra
alm. Isam. Så vidt jeg husker at have læst mig til, er det vist f.eks. ved
et stort antal inserts i meget store databaser, der kan være en betydelig
performance forskel at hente.

Boksen var en SUSE med Xeon 2.6 på en IBM server med SCSI m.m.. Boksen er en
testmaskine og kørte intet andet. MySQL v. 4.0.16

> > rollback features kunne jeg ikke få til at virke.
>
> Det burde vel ellers være en af de store fordele ved InnoDB, ikke?

ja.. jeg forsøgte flere ting, men brugte ikke "dage" på det, så det er
muligt jeg har gjort noget forkert. Jeg kunne ikke afhjælpe det ved at læse
dokumentationen.

.... Men igen skal jeg understrege at der kun var tale om "Søndagsleg"

--
Mvh
Michael

---

"Michael" <michael999@mailme.dk> writes:

> Hvor mange mapper/filer må der være i samme mappe, før det bliver et problem
> med hastigheden (ext2/3&Reiser)?

Jeg har foldere på reiserfs med flere millioner filer i (Den største af
dem indeholder omkring 20 mio. filer). Der er ingen problemer med hastigheden
der.

Det går dog galt, hvis man skriver 'ls' e.l., men det er ikke filsystemets
skyld.

--
Med venlig hilsen
Christian Laursen