Généralités système Linux

Compresser en multithreading sous Linux (gzip pigz, bzip2 pbzip2)

Table des matières

tar_gz



Introduction



De nos jours, la plupart des ordinateurs, qu'ils soient fixes ou portables ou même serveurs, ils possèdent un processeur avec plusieurs cœurs.

Wikipedia :
Un processeur est dit multithread s'il est capable d'exécuter efficacement plusieurs threads simultanément.

Un thread ou fil (d'exécution) ou tâche est similaire à un processus car tous deux représentent l'exécution d'un ensemble d'instructions du langage machine d'un processeur. Du point de vue de l'utilisateur, ces exécutions semblent se dérouler en parallèle. Toutefois, là où chaque processus possède sa propre mémoire virtuelle, les threads d'un même processus se partagent sa mémoire virtuelle. Par contre, tous les threads possèdent leur propre pile d’appel.


Le logiciel tar étant un logiciel d'archive, il ne compresse pas s'il n'est pas couplé à gzip, bzip2 ou lzma (xz).

Qu'il ne soit pas multithread n'est pas gênant en soi, puisqu'il n'y a pas besoin de "calculer".

En revanche, lorsqu'on exécute

Code BASH :
tar -czf archive.tar.gz fichier


on compresse avec gzip. Le processeur travaille donc. Mais ... avec un seul cœur.

Si nous possédons un Intel Core i7, avec 8 cœurs donc, un sel sera utilisé.

Et si on utilisait les 8 pour aller ... 8 fois plus vite ?


Rapide tour des outils de compression



Il existe 3 algorithmes de compression sous GNU/Linux.
  1. gzip : qui a été créé à partir de 1991 pour remplacer le programme compress d'Unix
  2. bzip2 : qui est à la fois le nom d'un algorithme de compression de données et d'un logiciel libre développé par Julian Seward entre 1996 et 2000 qui l'implémente
  3. LZMA : qui est un algorithme de compression de données sans perte en développement jusqu'à 2001. Il est utilisé en version 2 (LZMA2) avec l'outil xz.



On peut utiliser ces 3 algorithmes avec tar pour compresser en plus d'archiver.
  1. gzip compresse rapidement mais faiblement.
  2. bzip2 compresse plus que gzip, mais est un peu plus long.
  3. lzma2 compresse plus que bzip2 mais est plus long que celui-ci.


Voici un récapitulatif des commandes pour compresser et décompresser avec tar et avec chaque algorithme.

Compresser

Décompresser

GZIP
Code BASH :
tar czvf achrive.tar.gz fichier1 fichier2
Code BASH :
tar xzvf achrive.tar.gz
BZIP2
Code BASH :
tar cjvf achrive.tar.bz2 fichier1 fichier2
Code BASH :
tar xjvf achrive.tar.bz2
LZMA2
Code BASH :
tar cJvf achrive.tar.xz fichier1 fichier2
Code BASH :
tar xJvf achrive.tar.xz


Outils de compression multithread



Tous les tests de ce tutoriel ont été réalisés avec Fedora release 19 (Schrödinger’s Cat) x86_64 sur une machine disposant d'un Intel(R) Core(TM) i7-3610QM CPU @ 2.30GHz, et un disque dur SSD OCZ Vertex M4 256Go

Le fichier test de 4.9Go qui est un disque dur virtuel d'une VirtualBox

Code BASH :
ls -lh | grep "VM.vdi"
-rwxrwxrwx  1 adrien adrien 4,6G 28 août  22:20 VM.vdi
 



pigz pour gzip



Installation



Pour Fedora :
Code BASH :
yum install pigz


Pour Ubuntu :
Code BASH :
apt-get install pigz


Pour Mageia (à partir de Mageia 4) :
Code BASH :
urpmi pigz


Pour Gentoo/Calculate Linux :
Avec Gentoo, vous pouvez substituer gzip par pigz en ajoutant le FLAG symlink
Code BASH :
echo "app-arch/pigz symlink" >> /etc/portage/package.use/custom 

Code BASH :
emerge -av pigz



Utilisation



Avec tar, utilisez comme ceci :

Code BASH :
tar -I pigz -cvf archive.tar.gz fichier


Du coup, sous Gentoo, on peut l'utiliser de manière habituelle :

Code BASH :
tar -czvf archive.tar.gz fichier



Comparaison de performances sans et avec pigz



Je vais pour cela utiliser la commande time qui permet de voir le temps de traitement de l'opération :

Sans pigz :

Code BASH :
time tar -czvf gzip.tar.gz VM.vdi
VM.vdi
real    3m9.090s
user    3m2.491s
sys    0m8.496s
 


Avec pigz :

Code BASH :
time tar -I pigz -cvf pigz.tar.gz VM.vdi 
VM.vdi
real    0m39.012s
user    4m17.009s
sys    0m6.806s
 



Sans pigz : 3m9.090s
Avec pigz : 0m39.012s

Taille des fichiers :

Code BASH :
 ls -l | grep ".tar.gz"
-rw-r--r--  1 adrien adrien 1646332478  2 sept. 22:13 gzip.tar.gz
-rw-r--r--  1 adrien adrien 1643944367  2 sept. 22:00 pigz.tar.gz
 


On constate que la taille est identique (à quelques octets près).

Utilisation CPU :

Sans pigz, on constate un seul processus gzip dans htop :


multithread_gzip



Avec pigz, mes 8 CPU fonctionnent, il y a 8 processus pigz :


multithread_pigz




pbzip2 pour bzip2



Installation



Pour Fedora :
Code BASH :
dnf install pbzip2


Pour les bases Red Hat (Nécessite EPEL pour EL7 et EL8 et dispo nativement pour EL9) :
Code BASH :
dnf install pbzip2


Pour Debian :
Code BASH :
apt install pbzip2


Pour Gentoo :

Avec Gentoo et Calculate Linux, vous pouvez substituer bzip2 par pbzip2 en ajoutant le FLAG symlink

Code BASH :
echo "app-arch/pbzip2 symlink" >> /etc/portage/package.use/custom 

Code BASH :
emerge -av pbzip2



Utilisation



Avec tar, utilisez comme ceci :

Code BASH :
tar -I pbzip2 -cvf archive.tar.bz2 fichier


Du coup, sous Gentoo, on peut l'utiliser de manière habituelle :

Code BASH :
tar -cjvf archive.tar.bz2 fichier


Comparaison de performances sans et avec pbzip2



Je vais pour cela utiliser la commande time qui permet de voir le temps de traitement de l'opération :

Sans pbzip2 :

Code BASH :
time tar -cjvf bzip2.tar.bz2 VM.vdi
VM.vdi
real    8m51.954s
user    8m44.225s
sys    0m8.156s
 


Avec pbzip2 :

Code BASH :
time tar -I pbzip2 -cvf pbzip2.tar.bz2 VM.vdi 
VM.vdi
real    1m6.937s
user    7m25.987s
sys    0m15.594s
 


Sans pbzip2 : 8m51.954s
Avec pbzip2 : 1m6.937s


Taille du fichier compressé :

Code BASH :
ls -l | grep ".tar.bz2"
-rw-r--r--  1 adrien adrien 1493091729  2 sept. 22:30 bzip2.tar.bz2
-rw-r--r--  1 adrien adrien 1493749961  2 sept. 22:31 pbzip2.tar.bz2
 


On constate que la taille est identique (à quelques octets près).

A noter que pour compresser avec bzip2 en multithread, il existe aussi lbzip2.

pxz pour lzma2



pxz est un projet en cours de développement et en est au stade de beta.

Je ne l'ai donc pas traité dans cet article.

Contrairement à pbzip2 et pigz, il n'est pas multithreading à la décompression !



Récapitulatif




gzip

pigz

bzip2

pbzip2

Temps de compression

3m9.090s

0m39.012s

8m51.954s

1m6.937s

Ratio de compression

2.96

2.96

3.26

3.26

Nombre de CPU utilisés

1

MAX (8)

1

MAX (8)

Cette page a été vue 46098 fois