GlusterFS je škálovatelný distribuovaný síťový souborový systém, určený pro velká datová úložiště. Aktuálně patří do portfolia produktů fy. Red Hat (stejně jako CEPH, do kterého se dostal tím že Red Hat v r. 2011 spolkl společnost Gluster (založenou v r. 2005) která s jeho vývojem začala. Tento souborový systém funguje podobně jako LVM, ovšem v rámci sítě. Tj. nejprve se vytvoří skupina serverů (TSP - Trusted Storage Pools, je ekvivalentem Volume Group u LVM) a teprve v jejím rámci se tvoří svazky (volumes) - podobně jako logické disky u LVM. Data každého svazku se ukládají podle zvoleného typu svazku mezi tzv. bricky. Brickem je adresář na serveru vyhrazený pro soubory příslušného svazku.

Instalace

Instalace GlusterFS serveru je u Debianu triviální, neboť je součástí oficiálních repositářů.

apt-get install glusterfs-server

Aktuálně ( tj. k lednu 2015 ) tímto příkazem dojde k nainstalování GlusterFS verze 3.5.2

Verze distribuovaného souborového systému GlusterFS nejsou zpětně kompatibilní a jeho aktualizace nemusí být bezproblémová, proto pokud chcete nainstalovat poslední stabilní verzi GlusterFS (3.6.2), tak musíte použít buď oficiální repozitář Debianu experimental, nebo použít instalační balíčky dostupné v repozitářích webu gluster.org

Anatomie /var/lib/glusterd

/var/lib/glusterd/
   |-  geo-replication/
      \- gsyncd_template.conf
   |- glusterd.info
   |- glustershd/
   |   |- glustershd-server.vol
   |   \- run/
   |- groups/
   |- hooks/
   |- nfs/
   |   |- nfs-server.vol
   |   \- run/
   |- options
   |- peers/
   |- quotad/
   |- snaps/
   |   \- missed_snaps_list
   \- vols\
       |- <jméno svazku>/
       |   |- <jméno svazku>.<ip serveru>.<cesta do adresáře (místo lomítek pomlčky)>.vol
       |   |- ...
       |   |- trusted-<jméno svazku>-fuse.vol
       |   |- <jméno svazku>-fuse.vol
       |   |- quota.conf
       |   |- quota.cksum
       |   |- snapd.info
       |   |- info
       |   |- rbstate
       |   |- node_state.info
       |   \- run/
       \- ...

Vytvoření TSP

Vytvoření TSP (Trusted Storage Pools) se na první pohled podobá vytvoření Volume Group u LVM, pouze s tím rozdílem, že se místo lokálních fyzických blokových zařízení PV do skupiny přidávají celé servery. Jejich zařazením ale, na rozdíl od Volume Group, nevzniká žádný datový prostor, který by se následně přerozdělil na logické disky.

Lokální server, ze kterého se začnou do TSP zařazovat další stroje, je automaticky jeho součástí. Každý další se přidá zcela jednoduše:

root@nod1 :~# gluster peer probe SERVER

Pokud se při této operaci vyskytne nějaký problém, tak je třeba zkontrolovat zda..

Utilita nslookup vrací správně doménové jméno stroje
V souborech /etc/hosts na serverech jsou v pořádku všechny záznamy. Hodně problémů totiž bývá zaviněno právě špatným záznamem v tomto souboru, proto se moc nedoporučuje jeho využití.
Je port 24007 průchozí? Ověřit zda je spojení průchozí můžete dotazem přes telnet
Běží na lokálním i vzdáleném serveru démon pro glusterfs?

TSP nelze sestavit ze serverů na kterých běží různé verze GlusterFS! Viz příklad chybové zprávy:

root@nod1 :~# gluster peer probe 192.168.0.2
peer probe: failed: Peer 192.168.0.2 does not support required op-version

Problém se síťovu komunikací při pokusu o přidání serveru je indikován jako chyba č.107 Viz příklad:

root@nod1 :~# gluster peer probe 192.168.0.2
peer probe: failed: Probe returned with unknown errno 107

Aby mohl GlusterFS pracovat, musí mít povolené následující porty:

TCP 24007: Používá pro svou komunikaci GlusterFS démon
TCP 24008: Využívá Infiniband, pokud není k dispozici, tak tento port nemusí být využitý
TCP 24009 a výše: Používá pro bricky GlusterFS verze 3.3 a menší
TCP 49152 a výše: Používá pro bricky GlusterFS verze 3.4 a vyšší
TCP,UDP 111: Se využívá pro mapování portů
TCP 2049: Se rovněž využívá pro mapování portů ovšem pouze u GlusterFS verze 3.4 a vyšší

Ve výchozím stavu NFS u GlusterFS neposkytuje konektivitu přes UDP, pouze TCP. Pokud chcete využívat pro NFS komunikaci přes UDP, je třeba zapnout parametr nsf.mount-udp

Z principu tedy není možné aby byl jeden server integrován do více než jednoho TSP!

Informace o TSP

root@nod3 :~# gluster pool list
UUID                                    Hostname        State
eaa065d3-f713-4c63-9287-0c50bef9ccc0    nod2            Connected 
e70dfc34-39e2-4f5f-99b1-7d64a6612462    192.168.0.1       Connected 
d1bdbc55-c6c6-461e-b5c9-c0bfa3d39f88    localhost       Connected

Z výpisu lze poznat, že servery byly do TSP začleněny ze stroje s IP adresou 192.168.0.1, přes svůj hostname

Zjištění stavu jednotlivých serverů v rámci TSP

root@nod1 :~# gluster peer status
Number of Peers: 2

Hostname: nod2
Uuid: eaa065d3-f713-4c63-9287-0c50bef9ccc0
State: Peer in Cluster (Connected)

Hostname: nod3
Uuid: d1bdbc55-c6c6-461e-b5c9-c0bfa3d39f88
State: Peer in Cluster (Connected)

Chceme-li zjistit jak vidí situaci v TSP jiný z nodů, je třeba použít parametr --remote-host

root@nod3 :~# gluster --remote-host=nod1 peer status
Number of Peers: 2

Hostname: nod2
Uuid: eaa065d3-f713-4c63-9287-0c50bef9ccc0
State: Peer in Cluster (Connected)

Hostname: nod3
Uuid: d1bdbc55-c6c6-461e-b5c9-c0bfa3d39f88
State: Peer in Cluster (Connected)

Vyřazení serveru z TSP

root@nod1 :~# gluster peer detach nod3

Použití parametru force

root@nod1 :~# gluster peer detach nod3 force

Vytvoření svazku - volume

GlusterFS je distribuovaný souborový systém, neposkytuje tedy žádné blokové zařízení, ale tzv. svazky (volumes), které jsou složené z tzv. bricků. Bricky jsou adresáře na jednotlivých serverech v rámci TSP.

Svazek v minimální konfiguraci může být tvořen pouze jedním brickem.

root@nod1 ~# gluster volume create Svazek transport tcp nod1:/blok1

Pokud by adresář /blok1 byl pouze přípojným bodem pro některé z lokálních blokových zařízení serveru nod1, pak by musel být připojen na konec příkazu ještě parametr force

Aby bylo možné vytvořený svazek připojit, musí být nejprve aktivován parametrem start.

root@nod1 :~# gluster volume list
Svazek
root@nod1 :~# gluster volume start Svazek
volume start: Svazek: success

Pokud existuje v rámci TSP svazků více, lze se o každém z nich dozvědět více informací parametrem info

root@nod1 :~# gluster volume info Svazek

Volume Name: Svazek
Type: Distribute
Volume ID: 42ec4023-3304-4901-901e-73e8d1f6582a
Status: Created
Number of Bricks: 1
Transport-type: tcp
Bricks:
Brick1: nod1:/blok1

Připojení svazku

Typy svazků

V ideálním případě by měl každý stroj poskytovat pouze jeden brick, ale může jich pochopitelně poskytovat i více. Z čím většího počtu bricků je svazek sestaven, tím je z hlediska výkonu GlusterFS svižnější.

Typ svazku se určuje vždy rovnou při založení svazku. Je-li svazek jednou vytvořený, tak již nemůže být konvertován na jiný typ.

Distribuovaný svazek: Funguje jako síťový raid0. Nemá žádnou redundanci dat, ale nabízí vysoký výkon. Soubory jsou rozloženy mezi nody, takže při výpadku jednoho z nich jsou na něm uložená data nedostupná.

Replikovaný svazek: Funguje jako síťový raid1 - bloky se replikují na všechny nody. Je to nejčastější volba, protože zajišťuje redundanci ukládaných souborů - která navíc může probíhat i na více nodů současně. K tomu navíc nabízí i poměrně rychlé čtení, protože lze tyto kopie načítat souběžně ze všech nodů.

Stripovaný svazek: Stripovaný svazek se od distribuovaného svazku liší tím, že soubory nejsou ukládány do bloku jako celek, ale rovnoměrně rozkládány po menších částech mezi více bloků. Takový svazek pak nabízí velmi rychlé čtení souborů, ale má extrémně pomalý zápis a navíc žádnou redundanci. Takže při výpadku jednoho bloku je nepoužitelný celý svazek. Proto se používá stripování v kombinaci s replikací.

Problém z hlediska výkonu u GlusterFS je, že klient nepoužívá pro přístup do souborového systému vlastní jaderný modul, ale modul fuse, který provádí veškeré operace se soubory v userspace. Tím je ovšem jeho výkon velmi degradován, protože u fuse je vysoká režie spojená s malými soubory. Tento problém lze do jisté míry obejít, pokud se využije přímý přístup přes API GlusterFS.

Připojení svazku

Odkazy

http://www.gluster.org/community/documentation/ GlusterFS - dokumentace

https://raobharata.wordpress.com/2013/11/27/glusterfs-block-device-translator/ GlusterFS - BD translator

https://raobharata.wordpress.com/2012/10/29/qemu-glusterfs-native-integration/ GlusterFS a jeho integrace v Qemu

http://blog.gluster.org/2013/11/a-gluster-block-interface-performance-and-configuration/ GlusterFS - výkon a konfigurace

http://funwithlinux.net/2013/02/glusterfs-tips-and-tricks-centos/ GlusterFS na více rozhraních

http://www.ovirt.org/Change_network_interface_for_Gluster GlusterFS - změna síťového rozhraní

GlusterFS

Obsah

Instalace

Anatomie /var/lib/glusterd

Vytvoření TSP

Informace o TSP

Zjištění stavu jednotlivých serverů v rámci TSP

Vyřazení serveru z TSP

Vytvoření svazku - volume

Připojení svazku

Typy svazků

Připojení svazku

Odkazy

Navigační menu

GlusterFS

Instalace

Anatomie /var/lib/glusterd

Vytvoření TSP

Informace o TSP

Zjištění stavu jednotlivých serverů v rámci TSP

Vyřazení serveru z TSP

Vytvoření svazku - volume

Připojení svazku

Typy svazků

Připojení svazku

Odkazy

Navigační menu

Hledat