Re: ZFS dedup si compression

On Mon, 2016-11-14 at 13:51 +0200, Iulian Murgulet wrote:
> În 2016-11-14 13:06, Alex 'CAVE' Cernat a scris:
> > 
> > On 14/11/2016 12:59 PM, Valentin Cozma wrote:
> > > 
> > > salut,
> > > eram la capitolul teste.
> > > ce am simtit deocamdata e ca rata de transfer a scazut f. tare .
> > > nu ma deranjeaza neaparat cei 5 GB / 1 TB de la dedup cat ma 
> > > deranjeaza
> > > viteza f. slaba.
> > > poate ma insel nu prea am timp sa fac o analiza f. detaliata .
> > > o sa mai testez doar cu compresie, poate scaderea de viteza e de
> > > la
> > > compresie desi procesorul nu sare de 30% ..
> > > 10x
> > atentie, e 20 G per T de date, 5 G ar fi datele efective, insa
> > dedup
> > table poate sa fie maxim 25% din ARC, deci ...
> > ai grija cate harduri pui daca ai raid, in general se recomanda 2^n
> > +
> > (1,2,3) in functie de paritate
> > daca ai harduri mari si tii la date, uita de raidz1, incepi sa te
> > gandesti direct de la raidz2 (2+2, 4+2, 8+2 harduri)
> > si binenteles, deja stii de sfintii backup & restore :-P
> > 
> > Alex
> > 
> > ps: cand zici viteza slaba concret la ce te referi ? (si binenteles
> > pe
> > ce configuratie); vezi ca viteza la zfs e departe de a fi punctul
> > forte
> > al fs-ului, dar exista multe alte calitati pentru care il iubim noi
> 
>    "Viteza" depinde f mult de ce configuratie ai tu acolo pe partea
> de 
> zfs, si ce setari ai aplicat la tine. Si depinde si ce si cum
> testezi. 
> Ideal ar fi sa
> faci teste cat mai apropiate fata de ce vrei sa pui in
> productie(masina 
> de backup/baze de date/etc). Dar asa cum a punctat colegul Alex
> "CAVE", 
> probabil ca memoria
> insuficienta conduce la o "viteza" mica(pt ca nu ai dedup table in
> RAM). 
> Poti incerca sa faci cache doar la metadate, nu si la date, astfel
> ai 
> mai mult loc in ram care poate fi
> ocupat de datele referitoare la dedup.
> 
> zfs set primarycache=metadata niet-pool

Intel(R) Xeon(R) CPU           E5640  @ 2.67GHz
 free -m
              total        used        free      shared  buff/cache   available
Mem:          24099        4734         126         195       19238       18945
Swap:         24571           0       24571
primarycache          all
doar cu compression activat, la iotop ( ssd 2 zfs/hdd ) - "punctual" nu pot sa dau o medie :
Total DISK READ :      43.00 M/s | Total DISK WRITE :     106.90 M/s
Actual DISK READ:      42.76 M/s | Actual DISK WRITE:     108.20 M/s
zfs-ul e pe 2 hdd-uri de 500 gb in raid1 .
Momentan am renuntat la ideea cu deduplicarea , si cred ca asa o sa si ramana .
Multumesc !
> > 
> > _______________________________________________
> > RLUG mailing list
> > 
[email protected]> > 
http://lists.lug.ro/mailman/listinfo/rlug> > 

> 
> ================================ ATENTIONARI =============================
> 
> - nu trimiteti date personale (CNP, copii dupa acte de identitate etc).
> 
>  O lista completa cu reguli de utilizare exista la:
> 
> 
http://gw.casbv.ro/forum_smf/index.php?topic=2000.msg3106#msg3106
> 
> 
> C.A.S.J. Brasov - B-dul Mihail Kogalniceanu, nr. 11,Brasov
> [web-site]: http://www.casbv.ro
> 
> [forum]: http://gw.casbv.ro/forum_smf/index.php
> 
> 
> ==========================================================================
> 
> _______________________________________________
> RLUG mailing list
> 
[email protected]> 
http://lists.lug.ro/mailman/listinfo/rlug> 

-- 

 

	   Valentin Cozma	 CEO & Founder	 m:	 +40730096543	 a:	 Bd Burebista Nr 1 Bl D15 Ap 25 Bucuresti	 w:	 www.deversoft.ro  e: [email protected] 	       
_______________________________________________
RLUG mailing list
[email protected]
http://lists.lug.ro/mailman/listinfo/rlug