Puppet (augeas)

Augeas je konfigurační nástroj, který umí zpracovat nativní formát textových konfiguračních souborů do editovatelné stromové struktury a její modifikovaný obsah ukládat zpět tam kam patří.

augtool

Při lokální administraci přes příkazovou řádku lze používat utilitu augtool, která umožňuje interaktivní práci se stromovou strukturou augeasu přímo na příkazové řádce. Puppet ji ale nevyžaduje, protože ten komunikuje se stromovou strukturou augeasu přes jeho API.

Debian má tuto utilitu v samostatném instalačním balíčku augeas-tools.

Stromová struktura augeasu

V augeasu jsou všechny konfigurační soubory integrovány do jedné stromové struktury. V ní je uložen nejenom obsah textových konfiguračních souborů, ale také informace o těchto souborech a parserech, kterými byly zpracovány.

V následujících příkladech byl augtool spuštěn s parametrem -A (alt. --noautoload), který zamezí automatickému natažení parsovacích filtrů.

Pozice

ls

Příkaz ls vypíše potomky uzlů které jsou identifikovány předanou pozicí. Tím připomíná unixový příkaz ls, neboť absolutní určení pozice připomíná absolutní cestu ve stromové struktuře unixových souborových systémů.

root@stroj:~# augtool -A augtool> ls / augeas/ = (none) files = (none)

/augeas ; Součástí větve /augeas je veškerá infrastruktura augeasu spojená se zpracováním konfiguračních souborů.

/files ; Do větve /files se integruje jako samostatná větev absolutní cesta k parsovanému konfiguračnímu souboru a obsah, který je výsledkem zpracování parsovacího filtru.

Větev

print

Příkaz print vypisuje kompletní obsah větve vyhovující předané pozici. Je-li aplikován bez parametru, je výsledek stejný, jako by byla předaná výchozí pozice //, nebo /*.

augtool> print /augeas /augeas/root = "/" /augeas/context = "/files" /augeas/variables /augeas/version = "0.10.0" /augeas/version/save /augeas/version/save/mode[1] = "backup" /augeas/version/save/mode[2] = "newfile" /augeas/version/save/mode[3] = "noop" /augeas/version/save/mode[4] = "overwrite" /augeas/version/defvar /augeas/version/defvar/expr /augeas/version/pathx /augeas/version/pathx/functions /augeas/version/pathx/functions/count /augeas/version/pathx/functions/glob /augeas/version/pathx/functions/label /augeas/version/pathx/functions/last /augeas/version/pathx/functions/position /augeas/version/pathx/functions/regexp /augeas/save = "overwrite" /augeas/span = "disable" /augeas/files /augeas/load /files

dump-xml

Příkaz dump-xml vrací kompletní uzel interního XML dokumentu, jehož adresa vyhovuje předané pozici. Je-li aplikován bez parametru, je výsledek stejný, jako by byla předaná výchozí pozice //, nebo /*.

můžeme příkazem dump-xml vypsat celou výchozí stromovou strukturu augeasu ve formátu XML

<augeas match="/*"> <node label="augeas" path="/augeas"> <node label="root"> <value>/</value> </node> <node label="context"> <value>/files</value> </node> <node label="variables"/> <node label="version"> <value>0.10.0</value> <node label="save"> <node label="mode"> <value>backup</value> </node> <node label="mode"> <value>newfile</value> </node> <node label="mode"> <value>noop</value> </node> <node label="mode"> <value>overwrite</value> </node> </node> <node label="defvar"> <node label="expr"/> </node> <node label="pathx"> <node label="functions"> <node label="count"/> <node label="glob"/> <node label="label"/> <node label="last"/> <node label="position"/> <node label="regexp"/> </node> </node> </node> <node label="save"> <value>overwrite</value> </node> <node label="span"> <value>disable</value> </node> <node label="files"/> <node label="load"/> </node> <node label="files" path="/files"/> </augeas>

Tuto stromovou strukturu však lze interpretovat i způsobem, který je z hlediska dalšího zpracování výhodnější a to příkazem print

Parsery konfiguračních souborů - lens

Parsery konfiguračních souborů, se u augeasu nazývají lens. Jsou to skripty, které umí z textového konfiguračního souboru vytvořit novou větev stromové struktury augeasu, a tu pak integrovat jako součást větve /files.

Pozice položky konfiguračního souboru v rámci stromové struktury augeasu je pak daná kombinací cesty ke konfiguračnímu souboru v rámci souborového systému a interpretací obsahu parsovacím filtrem.

Parsovací filtry (lens) jsou textové soubory, s příponou .aug, které má Debian uložené v adresáři /usr/share/augeas/lenses/dist/. Většina z nich má v sobě také předdefinováno jaké konfigurační soubory se mají při načtení zpracovat - pokud se v systému vyskytují.

Většina lens se také načítá automaticky, je-li augtool spuštěn bez jakýchkoliv omezujících parametrů. Pro manuální načtení parsovacího filtru, nebo aby se aplikovaly změny v konfiguraci již natažených filtrů je třeba použít příkaz load.

Informace o zavedených filtrech

Informace o zavedených filtrech jsou součástí větve /augeas/load. Viz ukázkový výpis parsovacího filtru pro zpracování konfigurace zdrojů pro APT

augtool> ls /augeas/load/Aptsources/ lens = @Aptsources incl[1] = /etc/apt/sources.list.d/* incl[2] = /etc/apt/sources.list excl[1] = /*.augnew excl[2] = /*.augsave excl[3] = /*.dpkg-dist excl[4] = /*.dpkg-bak excl[5] = /*.dpkg-new excl[6] = /*.dpkg-old excl[7] = /*.rpmsave excl[8] = /*.rpmnew excl[9] = /*~

lens

Název zavedeného filtru.

Automaticky natažené filtry se od manuálně natažených liší tím, že mají před názvem v parametru lens znak @

incl

Z názvu, který je obsahem parametru lens je zřejmé, že jde o automaticky načtený filtr, který zpracovává obsahy souborů identifikovaných jako parametry incl, tj. soubory v adresáři /etc/apt/sources.list.d a obsah souboru /etc/apt/sources.list.

excl

Prostřednictvím nastavení parametrů excl je naopak určeno, které soubory má parser ignorovat.

Obsah konfiguračního souboru ve struktuře augeasu

Jak už bylo zmíněno, to jak vypadá obsah konfiguračního souboru ve stromové struktuře augeasu závisí na aplikovaném parsovacím filtru (lens) - v následujícím příkladu je demonstrován obsah konfiguračního souboru /etc/apt/sources.list

augtool> ls /files/etc/apt/sources.list/ 1/ = (none) augtool> print /files/etc/apt/sources.list/ /files/etc/apt/sources.list /files/etc/apt/sources.list/1 /files/etc/apt/sources.list/1/type = "deb" /files/etc/apt/sources.list/1/uri = "http://ftp.cz.debian.org/debian" /files/etc/apt/sources.list/1/distribution = "wheezy" /files/etc/apt/sources.list/1/component = "main

Parsovaný obsah tohoto konfiguračního souboru lze vypsat také v XML formátu, a to tak, že na příslušnou pozici /files/etc/apt/sources.list se místo příkazu print aplikuje příkaz dump-xml

<augeas match="/files/etc/apt/sources.list"> <node label="sources.list" path="/files/etc/apt/sources.list"> <node label="1"> <node label="type"> <value>deb</value> </node> <node label="uri"> <value>http://ftp.cz.debian.org/debian</value> </node> <node label="distribution"> <value>wheezy</value> </node> <node label="component"> <value>main</value> </node> </node> </node> </augeas>

Informace o zpracovaném konfiguračním souboru

Ve stromové struktuře augeasu není udržován pouze obsah parsovaného souboru, ale také informace o tom, jaký parser byl na soubor aplikován a kdy došlo k poslední úpravě parsovaného konfiguračního souboru (mtime). To vše je součástí větve /augeas/files.

augtool> print /augeas/files/etc/apt/sources.list /augeas/files/etc/apt/sources.list /augeas/files/etc/apt/sources.list/path = "/files/etc/apt/sources.list" /augeas/files/etc/apt/sources.list/mtime = "1367244944" /augeas/files/etc/apt/sources.list/lens = "@Aptsources" /augeas/files/etc/apt/sources.list/lens/info = "/usr/share/augeas/lenses/dist/aptsources.aug:22.12-.42:"

Z ukázkového výpisu je vidět, že interpretace obsahu konfiguračního souboru /files/etc/apt/sources.list, je výsledkem automaticky načteného parsovacího filtru aptsources.aug.

Zpracování konfiguračních souborů z jiných lokací

Ve výchozím nastavení zpracovává augeas pouze konfigurační soubory umístěné v adresáři /etc. Přidat do jeho stromové struktury také konfigurační soubory z jiné lokace však není problém.

1. Nejdřív je třeba přidat cestu k tomuto konfiguračnímu souboru k nastavení odpovídajícího parsovacího filtru.
2. A pak aplikovat příkaz load

Následující ukázkový příkaz demonstruje jak lze přidat do stromové struktury augeasu přidat ke zpracování testovací soubor se zdroji pro APT /root/sources.list.temporary

augtool> set /augeas/load/Aptsources/incl[last()+1] /root/sources.list.temporary

Jak si lze povšimnout v ukázkovém příkladu, je místo číselného indexu položky incl použita funkce last(). Tím se zajistí, že se přidá další konfigurační soubor z jiné lokace jako nová položka. Pokud by bylo nastavení provedeno takto... augtool> set /augeas/load/Aptsources/incl[2] /root/sources.list.temporary ...tak by nebyl konfigurační soubor z jiné lokace přidán jako nová položka, ale nahradil by cestu k souboru již jednou zpracovanému, což by mohlo vést při zavolání příkazu load k nežádoucímu výsledku. Trochu menší zlo by bylo použít číselnou hodnotu indexu výrazně vyšší, než je počet aktuálně existujících položek - v takovém případě se totiž automaticky položka nastaví jako při použití funkce last()+1.

Manuální zavedení parsovacího filtru

Jak už bylo zmíněno, při automatickém načtení parsovacích filtrů se zpracují pouze ty konfigurační soubory v adresáři /etc, které vyhovují výchozímu nastavení automaticky zaváděných parsovacích filtrů.

Co však s konfiguračními soubory, které žádný automaticky zavedený parsovací filtr zpracovávat neumí?

Možnosti jsou v zásadě dvě:

1. Aplikovat některý univerzální parsovací filtr
2. Napsat si parsovací filtr vlastní

Jelikož psaní vlastních parsovacích filtrů není obsahem tohoto manuálu, budu se věnovat pouze prvnímu bodu.

Syntaxe konfiguračních souborů většinou vychází ze syntaxe použitého skriptovacího jazyka (PHP, Perl, Shell,..) případně se využívá XML, nebo JSON. Ke zpracování takových konfiguračních souborů se používají univerzální parsovací filtry, které je třeba zavést manuálně.

Následující příklad demonstruje zavedení univerzálního filtru Shellvars, kterým je zpracován soubor /tmp/test.conf s následujícím obsahem:

ITEM1='obsah první položky' ITEM2='obsah druhé položky'

Pro větší názornost je augtool v následujícím příkladu spuštěn s parametrem -A, který zamezí automatickému natažení parsovacích filtrů

augtool> print /augeas/load /augeas/load augtool> set /augeas/load/Shellvars/lens Shellvars.lns augtool> set /augeas/load/Shellvars/incl /tmp/test.conf augtool> print /augeas/load /augeas/load /augeas/load/Shellvars /augeas/load/Shellvars/lens = "Shellvars.lns" /augeas/load/Shellvars/incl = "/tmp/test.conf" augtool> print /files /files augtool> load augtool> print /files /files /files/tmp /files/tmp/test.conf /files/tmp/test.conf/ITEM1 = "'obsah prvn\303\255 polo\305\276ky'" /files/tmp/test.conf/ITEM2 = "'obsah druh\303\251 polo\305\276ky'" augtool>

Použití jiného parsovacího filtru

Ovšem pro zpracování tohoto testovacího "konfiguračního" souboru lze použít také jiný filtr Shellvars_list.

1. Nejprve je třeba odstranit záznam ve větvi /augeas/files
2. Poté odstranit buď celý filtr Shellvars, nebo z něj vyhodit alespoň položku incl
3. Pak se nastaví nový filtr Shellvars_list
4. A příkazem load se provede zpracování obsahu /tmp/temp.conf

augtool> rm /augeas/files/tmp rm : /augeas/files/tmp 6 augtool> rm /augeas/load/Shellvars rm : /augeas/load/Shellvars 3 augtool> set /augeas/load/Shellvars_list/lens Shellvars_list.lns augtool> set /augeas/load/Shellvars_list/incl /tmp/test.conf augtool> load augtool> print /files /files /files/tmp /files/tmp/test.conf /files/tmp/test.conf/ITEM1 /files/tmp/test.conf/ITEM1/quote = "'" /files/tmp/test.conf/ITEM1/value[1] = "obsah" /files/tmp/test.conf/ITEM1/value[2] = "prvn\303\255" /files/tmp/test.conf/ITEM1/value[3] = "polo\305\276ky" /files/tmp/test.conf/ITEM2 /files/tmp/test.conf/ITEM2/quote = "'" /files/tmp/test.conf/ITEM2/value[1] = "obsah" /files/tmp/test.conf/ITEM2/value[2] = "druh\303\251" /files/tmp/test.conf/ITEM2/value[3] = "polo\305\276ky" augtool>