Compresser en multithreading sous Linux




Introduction



De nos jours, la plupart des ordinateurs, qu'ils soient fixes ou portables ou même serveurs, ils possèdent un processeur avec plusieurs cœurs.

Wikipedia:
Un processeur est dit multithread s'il est capable d'exécuter efficacement plusieurs threads simultanément.
Un thread ou fil (d'exécution) ou tâche est similaire à un processus car tous deux représentent l'exécution d'un ensemble d'instructions du langage machine d'un processeur. Du point de vue de l'utilisateur, ces exécutions semblent se dérouler en parallèle. Toutefois, là où chaque processus possède sa propre mémoire virtuelle, les threads d'un même processus se partagent sa mémoire virtuelle. Par contre, tous les threads possèdent leur propre pile d’appel.


Le logiciel tar étant un logiciel d'archive, il ne compresse pas s'il n'est pas couplé à gzip, bzip2 ou lzma (xz).
Qu'il ne soit pas multithread n'est pas gênant en soi, puisqu'il n'y a pas besoin de "calculer".

En revanche, lorsqu'on exécute

Code BASH :
tar -czf archive.tar.gz fichier


on compresse avec gzip. Le processeur travaille donc. Mais ... avec un seul cœur.

Si nous possédons un Intel Core i7, avec 8 cœurs donc, un sel sera utilisé.

Et si on utilisait les 8 pour aller ... 8 fois plus vite ?


Rapide tour des outils de compression



Il existe 3 algorithmes de compression sous GNU/Linux.

  1. gzip : qui a été créé à partir de 1991 pour remplacer le programme compress d'Unix
  2. bzip2 : qui est à la fois le nom d'un algorithme de compression de données et d'un logiciel libre développé par Julian Seward entre 1996 et 2000 qui l'implémente
  3. LZMA : qui est un algorithme de compression de données sans perte en développement jusqu'à 2001. Il est utilisé en version 2 (LZMA2) avec l'outil xz.


On peut utiliser ces 3 algorithmes avec tar pour compresser en plus d'archiver.
  1. gzip compresse rapidement mais faiblement.
  2. bzip2 compresse plus que gzip, mais est un peu plus long.
  3. lzma2 compresse plus que bzip2 mais est plus long que celui-ci.


Voici un récapitulatif des commandes pour compresser et décompresser avec tar et avec chaque algorithme.

Compresser

Décompresser

GZIP Code BASH :
tar czvf achrive.tar.gz fichier1 fichier2
Code BASH :
tar xzvf achrive.tar.gz
BZIP2 Code BASH :
tar cjvf achrive.tar.bz2 fichier1 fichier2
Code BASH :
tar xjvf achrive.tar.bz2
LZMA2 Code BASH :
tar cJvf achrive.tar.xz fichier1 fichier2
Code BASH :
tar xJvf achrive.tar.xz



Outils de compression multithread



Tous les tests de ce tutoriel ont été réalisés avec Fedora release 19 (Schrödinger’s Cat) x86_64 sur une machine disposant d'un Intel(R) Core(TM) i7-3610QM CPU @ 2.30GHz, et un disque dur SSD OCZ Vertex M4 256Go
Le fichier test de 4.9Go qui est un disque dur virtuel d'une VirtualBox
Code BASH :
ls -lh | grep "VM.vdi"
-rwxrwxrwx  1 adrien adrien 4,6G 28 août  22:20 VM.vdi
 


pigz pour gzip




Installation



Pour Fedora :
Code BASH :
yum install pigz


Pour Ubuntu :
Code BASH :
apt-get install pigz


Pour Mageia (à partir de Mageia 4) :
Code BASH :
urpmi pigz


Pour Gentoo/Calculate Linux :
Avec Gentoo et Calculate Linux, vous pouvez substituer gzip par pigz en ajoutant le FLAG symlink
Code BASH :
echo "app-arch/pigz symlink" >> /etc/portage/package.use/custom 

Code BASH :
emerge -qv pigz




Utilisation



Avec tar, utilisez comme ceci :

Code BASH :
tar -I pigz -cvf archive.tar.gz fichier


Du coup, sous Gentoo/Calculate Linux, on peut l'utiliser de manière habituelle :
Code BASH :
tar -czvf archive.tar.gz fichier




Comparaison de performances sans et avec pigz




Temps de compression



Je vais pour cela utiliser la commande time qui permet de voir le temps de traitement de l'opération :

Sans pigz :
Code BASH :
time tar -czvf gzip.tar.gz VM.vdi
VM.vdi
 
real3m9.090s
user3m2.491s
sys0m8.496s
 


Avec pigz :
Code BASH :
time tar -I pigz -cvf pigz.tar.gz VM.vdi 
VM.vdi
 
real0m39.012s
user4m17.009s
sys0m6.806s
 


Sans pigz : 3m9.090s
Avec pigz : 0m39.012s

Taille du fichier compressé



Code BASH :
 ls -l | grep ".tar.gz"
-rw-r--r--  1 adrien adrien 1646332478  2 sept. 22:13 gzip.tar.gz
-rw-r--r--  1 adrien adrien 1643944367  2 sept. 22:00 pigz.tar.gz
 


On constate que la taille est identique (à quelques octets près).


Utilisation CPU



Sans pigz, on constate un seul processus gzip dans htop :




Avec pigz, mes 8 CPU fonctionnent, il y a 8 processus pigz :






lbzip2 pour bzip2




Installation



Pour Fedora :
Code BASH :
yum install lbzip2


Pour Ubuntu :
Code BASH :
apt-get install lbzip2


Pour Mageia (pbzip2 disponible uniquement) :
Code BASH :
urpmi pbzip2


Pour Gentoo/Calculate Linux :
Avec Gentoo et Calculate Linux, vous pouvez substituer bzip2 par lbzip2 en ajoutant le FLAG symlink
Code BASH :
echo "app-arch/lbzip2 symlink" >> /etc/portage/package.use/custom 


Code BASH :
emerge -qv lbzip2



Utilisation



Avec tar, utilisez comme ceci :

Code BASH :
tar -I lbzip2 -cvf archive.tar.bz2 fichier


Du coup, sous Gentoo/Calculate Linux, on peut l'utiliser de manière habituelle :
Code BASH :
tar -cjvf archive.tar.bz2 fichier



Comparaison de performances sans et avec lbzip2




Temps de compression



Je vais pour cela utiliser la commande time qui permet de voir le temps de traitement de l'opération :

Sans lbzip2 :
Code BASH :
time tar -cjvf bzip2.tar.bz2 VM.vdi
VM.vdi
 
real8m51.954s
user8m44.225s
sys0m8.156s
 


Avec lbzip2 :
Code BASH :
time tar -I lbzip2 -cvf lbzip2.tar.bz2 VM.vdi 
VM.vdi
 
real1m6.937s
user7m25.987s
sys0m15.594s
 


Sans lbzip2 : 8m51.954s
Avec lbzip2 : 1m6.937s

Taille du fichier compressé



Code BASH :
ls -l | grep ".tar.bz2"
-rw-r--r--  1 adrien adrien 1493091729  2 sept. 22:30 bzip2.tar.bz2
-rw-r--r--  1 adrien adrien 1493749961  2 sept. 22:31 lbzip2.tar.bz2
 


On constate que la taille est identique (à quelques octets près).


Utilisation CPU



Sans lbzip2, on constate un seul processus bzip2 dans htop :




Avec lbzip2, mes 8 CPU fonctionnent, il y a 8 processus lbzip2 :




A noter que pour compresser avec bzip2 en multithread, il existe aussi pbzip2. Je ne l'ai pas traité ici puisque il est "moins rapide" que lbzip2.

pxz pour lzma2



pxz est un projet en cours de développement et en est au stade de beta.
Je ne l'ai donc pas traité dans cet article.
Contrairement à lbzip2 et pigz, il n'est pas multithreading à la décompression !


Récapitulatif



gzip

pigz

bzip2

lbzip2

Temps de compression

3m9.090s

0m39.012s

8m51.954s

1m6.937s

Ratio de compression

2.96

2.96

3.26

3.26

Nombre de CPU utilisés

1

MAX (8)

1

MAX (8)

Cette page a été vue 19971 fois