LINUXSOFT.cz Přeskoč levou lištu
Uživatel: Heslo:  
   CZUKPL

> Linux v příkazech - archivace a komprese

V tomto díle se seznámíme s příkazy pomocí kterých lze ukládat adresáře a soubory do archivu nebo je komprimovat.

15.9.2004 08:00 | Petr Hatina | Články autora | přečteno 83151×

Pojem archivace a komprese

Jako archivaci rozumíme uložení kopie dat na jiné místo, nejčastěji pro zálohování dat pro potřebu obnovy v případě zničení či poškození originálních dat. Používá se rovněž pro distribuci.

Kompresí pak rozumíme (pro potřeby archivace) bezztrátové zmenšení velikosti dat. Data jsou kompresním programem převedena do komprimovaného tvaru a uložena ve zvláštním souboru. Pro zpřístupnění původních dat je třeba provést opačnou operaci – dekomprimaci dat, která obnoví data do původního souboru.

Komprese dat se rovněž používá velmi často, a to jak pro archivaci, tak pro distribuci dat, výrazné zmenšení velikosti dat může být v případě distribuce přes Internet dost rozhodujícím faktorem.

Program tar

S příkazem tar se asi budete setkávat nejčastěji, používá se jako standardní archivační prostředek pro distribuci programů a zdrojových souborů v Linuxu. Kromě toho s ním úzce spolupracují běžné kompresními programy.

Tar slouží k archivaci, k uložení určených souborů do jednoho soubor archivu. Pokud je třeba kupříkladu archivovat celý adresář uživatele bu včetně podadresářů, použije se příkaz:

tar -cvf bu.tar /home/bu

V příkladu je použit parametr -c (tedy vytvoření archivu). Vzhledem k tomu, že tar je původně určen pro archivaci na pásku, je nutné při archivaci do souboru uvádět dále parametr -f jménosouboru archivu . Parametr -v způsobí vypisování informací o průběhu archivace.

Výsledkem je soubor bu.tar. Jeho obsah si můžeme vypsat příkazem

tar -tf bu.tar

Pokud chceme, aby se současně při archivace provedla i komprese programem gzip, zapneme jí parametrem -z.

tar -cvzf bu.tar.gz /home/bu

Výsledný archiv je nyní menší a má rozšířenou příponu .tar.gz, která signalizuje kompresi programem gzip.

Obdobně lze v programu tar provést kompresi pomocí bzip2, pomocí parametru -j. Výsledkem je soubor s příponou tar.bz2.

tar -cvjf bu.tar.gz /home/bu

Opačnou operaci, tj. obnovu dat z archivu do původního tvaru, provedeme s pomocí parametru -x:

tar -xvf bu.tar 

Pokud nemá archiv příponu jen tar, znamená to, že jeho obsah je komprimován. Proto při obnovení přidáme parametr který současně provede i dekomprimaci programem příslušným k uvedené příponě:

tar -xvzf bu.tar.gz  #obnova souborů komprimovaných s gzip
tar -xvzf bu.tgz     #to samé, jen je použit zkrácený tvar přípony
tar -xvjf bu.tar.bz2 #obnova souborů komprimovaných s bzip2
tar -xvZf bu.tar.Z   #to samé pro dříve užívaný compress

Tar není jen jediný program, lze jej chápat spíše jako standard (popis taru je součástí POSIX). Nejrozšířenější implementací zejména v GNU/Linux systémech je GNU tar, existují ale i jiné implementace, např. vynikající star, který kromě vyšší rychlosti obsahuje sofistikované filtry pro výběr souborů k archivaci, podporu ACL, automatickou detekci formátu, lepší podporu POSIX standardů apod.

Kompresní programy můžeme použít i samostatně, pro kompresi a dekompresi souborů.

gzip

Program gzip se pro kompresi používání nejčastěji. Výsledný soubor má příponu .gz. Komprimace souboru plan.txt se provede příkazem:

gzip plan.txt 

Výsledkem je soubor plan.txt.gz. Co je ale podstatné vědět, původní soubor byl smazán. Pokud ho chceme obnovit, použijeme parametr -d, nebo samostatný příkaz gunzip pro dekompresi souboru.

gzip -d plan.txt.gz
#nebo
gunzip plan.txt.gz

Lze provést i společnou kompresi více souborů, popřípadě s parametrem -r kterým se komprimuje celý adresář s podadresáři.

gzip *.txt #všechny soubory s příponou .txt

Z každého souboru se tímto způsobem vytvoří samostatný komprimovaný soubor s příponou .gz. Pokud chceme vytvořit jeden společný soubor, použijeme spojení s výše uvedeným příkazem tar:

tar -cvzf bu.tar.gz /home/bu          #pomocí parametru z přímo v taru
#nebo
tar cf - /home/bu | bzip2 > bu.tar.gz #propojením taru a gzipu

Užitečný je parametr -c, který přesměruje výstup gzipu do standardního výstupu, který lze pak nasměrovat do vlastního souboru. Vedlejším, ale rovněž cenným efektem je že po kompresi nedojde ke smazání původního souboru.

gzip -c plan.txt > plan.tgz 

Parametrem -l můžeme vypsat obsah komprimovaného souboru:

gzip -l plan.tgz

Velikost výsledného komprimovaného souboru lze ovlivnit pomocí parametru kompresního poměru s hodnotou -1-9 (standardně nastaveno 6). Se vzrůstající zadanou hodnotou se poněkud zmenší velikost souboru, zatímco doba komprese se může prodloužit až několikanásobně.

Se soubory komprimovanými pomocí gzip pracuje několik dalších utilit, například zcat který zobrazí obsah souboru bez rozbalení, či gzexe, který komprimuje spustitelné soubory tak, že výsledný archiv je spustitelný.

bzip2

Soubor bzip2 je novější program pro kompresi souborů. Výsledný soubor je obvykle menší než v případě gzipu, cenou je pak podstatně vyšší časová a paměťová náročnost komprese.

Výsledný soubor má příponu .bz2. Syntaxe použití je podobná jako u příkazu gzip.

bzip2 plan.txt          #komprese
bzip2 -d plan.txt.bz2   #dekomprese
bunzip2 plan.txt.bz2    #dekomprese

Při používání bzipu, a hlavně rozbalování jím komprimovaných souborů, na počítači s velmi malou kapacitou paměti je vhodné vědět o parametru -s, který způsobí, že bzip při dekompresi použije jen polovinu paměti než standardně vyžaduje ale za cenu dvojnásobné doby dekomprese. Číselný parametr -1-9 při kompresi totiž určuje velikost bloků dat v paměti po kterých je komprese prováděna, a stejná velikost paměti je požadována i při rozbalování.

Výhodou bzip2 oproti gzipu, kromě určité úspory výsledného souboru, je možnost obnovy dat i z poškozeného archivu. Díky tomu že bzip2 komprimuje data po blocích lze poškozený archiv zpracovat pomocí programu bzip2recover, který ho rozdělí na jednotlivé bloky a zapíše je do samostatných očíslovaných souborů. Ty lze pak jednoduše najednou dekomprimovat a zachránit tak data z nepoškozených bloků.

Porovnání

Pro porovnání gzip a bzip2 si ukážeme několik příkladů komprese s pomocí různých voleb na adresáři se zdrojovým kódem kernelu o celkové velikosti 174 MB.

#archivace bez komprese
#doba archivace: 20s, velikost souboru: 188190720
tar -cf linux.tar ./linux-2.6.3-4mdk

#standardní komprese s gzip
#doba komprese: 1 min 54 s, velikost souboru: 42058686
gzip -c linux.tar > linuxgzipstd.tar.gz

#maximální komprese s gzip
#doba komprese: 4 min 50s, velikost souboru: 41584712
gzip -c -9 linux.tar > linuxgzip9.tar.gz

#minimální komprese s gzip
#doba komprese: 1 min 01s, velikost souboru: 52064664
gzip -c -1 linux.tar > linuxgzip1.tar.gz

#standardní komprese s bzip2
#doba komprese: 8min 11s, velikost souboru: 33121918
bzip2 -c linux.tar > linuxbz2.tar.bz2

Jak je z porovnání vidět, komprese má velký význam, velikost archivu se zmenšila vždy na méně než čtvtrtinu, další optimalizace pomocí parametru poměru komprese však již další podstatné zmenšení nepřinesla, projevila se ale na značném prodloužení doby komprese. Při porovnání výsledků komprese je třeba také vědět, že některé programy zpracovávající data si provádějí vlastní interní kompresi dat, takže znovu provedená externí komprese již nemá významnější efekt. To se týká například některých formátů obrázků či zvuků (gif, jpg, mp3, apod.)

dump

Zatímco výše uvedené archivační a kompresní soubory pracovaly na úrovni adresářů a souborů, dump zálohuje data přímo čtením příslušného blokového zařízení. Výhodou je pak vysoká rychlost. Dump je podporován pouze pro ext2/ext3.

Archivace celé složky home se provede takto:

dump -0f archiv /home

Parametr 0 souvisí s pojmem inkrementálního zálohování. Při prvním provádění zálohy zadáme hodnotu 0 a tím se provede plná záloha všech souborů, zatímco při následujících zálohách zadáváme stále se zvyšující pořadového číslo a tím se zálohují jen soubory nově vytvořené nebo modifikované od poslední provedené archivace s nižším pořadovým číslem. To má tu výhodu že opakované archivace mohou být malé a rychlé, na druhé straně si ale musíme udržovat zálohy od pořadového čísla 0 a v případě nutnosti plné obnovy je všechny použít ve správném pořadí.

Parametrem -f se určí kam se má archiv zapsat. Kromě jména souboru lze jako cíl archivace uvést i přímo fyzická zařízení v adresáři /dev, např. /dev/st0 (páska).

Jestliže zálohujeme celé souborové systémy, hodí se parametr -u, kterým se zapíše informace o provedené archivaci do souboru /etc/dumpdates, takže si lze příště dotazem dump -w zjistit zda a které souborové systémy je potřeba zálohovat.

dump -0uf /dev/st0 /dev/hda5

restore

Pro obnovu souborů z archivu slouží opačný příkaz, restore:

restore -tf  archiv       #vypíše seznam souborů v archivu
restore -xf archiv /home  #provede obnovu

Restore umožňuje pracovat v interaktivním režimu, kdy po zadání parametru -i se zobrazí příkazová řádka příkazu restore. V ní lze procházet mezi adresáři (příkaz cd), vypisovat si je (ls), přidávat do seznamu adresářů a souborů které mají být obnoveny (add). Následně pak příkazem extract provést obnovu vybraných souborů a adresářů.

restore -if archiv
add bfu
extract
quit

Jak již bylo uvedeno výše, dump je podporován jen na ext2/ext3, nicméně existuje xfsdump pro XFS souborový systém, a pro další systém lze použít script reiserfsdump, který alespoň simuluje rozhraní dumpu pomocí taru.

Zdroje

  • man tar
  • man bzip
  • man bzip2
  • man gzip2
  • man dump
  • man restore

Verze pro tisk

pridej.cz

 

DISKUZE

Nejsou žádné diskuzní příspěvky u dané položky.



Příspívat do diskuze mohou pouze registrovaní uživatelé.
> Vyhledávání software
> Vyhledávání článků

18.6.2018 0:43 /František Kučera

Červnový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 21. 6. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát na téma: F-Droid, aneb svobodný software do vašeho mobilu. Kromě toho budou k vidění i vývojové desky HiFive1 se svobodným/otevřeným čipem RISC-V.


Přidat komentář

23.5.2018 20:55 /Ondřej Čečák
Od pátku 25.5. proběhne na Fakultě informačních technologií ČVUT v Praze openSUSE Conference. Můžete se těšit na spostu zajímavých přednášek, workshopů a také na Release Party nového openSUSE leap 15.0. V na stejném místě proběhne v sobotu 26.5. i seminář o bezpečnosti CryptoFest.
Přidat komentář

20.5.2018 17:45 /Redakce Linuxsoft.cz
Ve čtvrtek 31. května 2018 připravuje webový magazín BusinessIT ve spolupráci s Best Online Média s.r.o. pátý ročník odborné konference Firemní informační systémy 2018. Akce proběhne v kongresovém centru Vavruška (palác Charitas), Karlovo náměstí 5, Praha 2 (u metra Karlovo náměstí) od 9:00 hod. dopoledne do cca 15 hod. odpoledne. Konference je zaměřena na efektivní využití firemních informačních systémů a na to, jak plně využít jejich potenciál. Podrobnější informace na webových stránkách konfrence.
Přidat komentář

14.5.2018 7:28 /František Kučera
Květnový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 17. 5. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tentokrát na téma: Audio – zvuk v GNU/Linuxu.
Přidat komentář

7.5.2018 16:20 /František Kučera
Na stránkách spolku OpenAlt vyšla fotoreportáž Pražské srazy 2017 dokumentující srazy za uplynulý rok. Květnový pražský sraz na téma audio se bude konat 17. 5. 2018 (místo a čas ještě upřesníme).
Přidat komentář

17.4.2018 0:46 /František Kučera
Dubnový pražský sraz spolku OpenAlt se koná již tento čtvrtek – 19. 4. 2018 od 18:00 v Kavárně Ideál (Sázavská 30, Praha), kde máme rezervovaný salonek. Tématem tohoto srazu bude OpenStreetMap (OSM) aneb svobodné mapy.
Přidat komentář

16.3.2018 22:01 /František Kučera
Kulatý OpenAlt sraz v Praze oslavíme klasicky: u limonády a piva! Přijďte si posedět, dát si dobré jídlo a vybrat z mnoha piv do restaurace Kulový blesk, který najdete v centru Prahy nedaleko metra I. P. Pavlova na adrese Sokolská 13, Praha 2. Sraz se koná ve čtvrtek 22. března a začínáme v 18:00. Heslo: OpenAlt. Vezměte s sebou svoje hračky! Uvítáme, když si s sebou na sraz vezmete svoje oblíbené hračky. Jestli máte nějaký drobný projekt postavený na Arduinu, nějakou zajímavou elektronickou součástku, či třeba i pěkný úlovek z crowdfundingové akce, neváhejte. Oslníte ostatní a o zábavu bude postaráno.
Přidat komentář

13.2.2018 0:41 /František Kučera
Únorový pražský sraz OpenAltu se koná 15. 2. 2018 a tentokrát se vydáme na návštěvu do jednoho pražského datacentra. Sejdeme se v 17:50 v severovýchodní části nástupiště tramvajové zastávky Koh-I-Noor. Po exkurzi se přesuneme do restaurace U Pštrosa (Moskevská 49), kde probereme tradiční témata (svobodný software a hardware, DIY, CNC, SDR, 3D tisk…) a tentokrát bude k vidění i IoT brána od The Things Network.
Přidat komentář

   Více ...   Přidat zprávičku

> Poslední diskuze

20.2.2018 18:48 / Ivan Majer
portal

20.2.2018 15:57 / Jan Havel
Jak využíváte služby cloudu v podnikání?

16.1.2018 1:08 / Ivan Pittner
verejna ip od o2 ubuntu

15.1.2018 17:26 / Mira Harvalik
Re: Jak udělat HTML/Javascript swiping gallery do mobilu?

30.12.2017 20:16 / Michal Knoll
odmocnina

Více ...

ISSN 1801-3805 | Provozovatel: Pavel Kysilka, IČ: 72868490 (2003-2018) | mail at linuxsoft dot cz | Design: www.megadesign.cz | Textová verze