Kernel-Log – Was 2.6.37 bringt (2): Dateisysteme

Die Freigabe des RC4 des für den Jahreswechsel erwarteten Kernels 2.6.37 vor wenigen Tagen nimmt das Kernel-Log zum Anlass, die Mini-Serie "Was 2.6.37 bringt" mit der Beschreibung der Neuerungen rund um Dateisysteme fortzusetzen. Der erste Teil der Serie hatte sich mit den Änderungen rund um Grafik-Hardware beschäftigt; folgen werden in den kommenden Wochen noch Artikel zu Architektur-Code, Treibern und der sie umgebenden Infrastruktur.

Ext-Familie

Die "Lazy Inode Table Initialization" soll in Kombination mit neuen Userland-Tools das Anlegen von Ext4-Dateisystemen deutlich beschleunigen, da die für die Inode-Tabellen benötigten Bereiche beim Formatieren nicht mehr explizit bereinigt werden.

Der Ext4-Code arbeitet nun enger mit dem Block Layer zusammen – dadurch soll das Dateisystem deutlich schneller arbeiten, besser skalieren und gleichzeitig die CPU weniger belasten. Wie Ext3-Hauptentwickler Ted "tytso" Ts'o im Haupt-Git-Pull-Request und noch etwas ausführlicher einem Blog-Eintrag schreibt, stiegt der Durchsatz durch diese und einige bereits zuvor umgesetzte Änderungen auf einem Testsystem mit 48 Prozessorkernen auf das Dreifache und die CPU-Belastung reduzierte sich um den Faktor drei bis vier. Dadurch käme Ext4 nun recht nahe an die Leistung von XFS heran; er habe zudem noch weitere Performance-Verbesserungen geplant.

Gelegentliches Putzen

Das VFS bietet nun einen "FITRIM" genannten Ioctl, über das Programme wie das bald in die Standard-Werkzeugsammlung util-linux-ng einziehende fstrim den Dateisystem-Code des Kernels anweisen können, nach freien Bereichen zu suchen und den Datenträger darüber zu informieren – etwa per ATA_TRIM. Bislang implementiert allerdings nur Ext4 die neue Schnittelle für die auch "Batched Discard" bezeichneten Funktion (1, 2).Das Melden freier Bereiche ist für Thin Provisioning wichtig und verbessert Performance und Lebensdauer von SSDs.

Da dafür das ganze Dateisystem nach freien Bereichen durchsucht werden muss, kann solch ein Batched Discard durchaus einige Zeit in Anspruch nehmen. Wie lange anschließend der Datenträger zur Verarbeitung der Kommandos braucht, ist nicht mehr sonderlich wichtig.Manche SSDs lassen sich dabei nämlich viel Zeit, wie der Entwickler der Änderungen vor einigen Monaten bei der Vorstellung der Patches erläuterte. Daher sinkt der Datendurchsatz unter Umständen erheblich, wenn der Kernel den Datenträger direkt bei jedem Löschen einzelner Dateien über freigewordene Bereiche informiert, wie es der Kernel seit Version 2.6.33 beherrscht.

Der Entwickler bietet einige Programme für Test der Discard-Geschwindigkeitstest auf seiner Homepage zur Verfügung. Dort finden sich auch Messwerte einiger Produkte, es fehlen allerdings Hersteller-Namen und Modell-Bezeichnungen.

[pagebreak Btrfs, Ceph, NFS, XFS und Co.]

Btrfs und Ceph

Einen guten Überblick über die Änderungen an Btrfs gibt der Git-Pull-Request von Chris Mason. So brachte Red-Hat-Entwickler Josef Bacik Änderungen ein, durch die das "Next Generation Linux File System" eine Liste freie Blöcke in einer speziellen Inode zwischenspeichert, sofern das Dateisystem mit "-o space_cache" eingebunden wird. Das macht das Btrfs nach einem frischen Mounten "erheblich flotter", weil die Strukturen nicht nach freien Blöcken abgesucht werden müssen. Kurz vor Freigabe der vierten Vorabversion von 2.6.37 stießen zudem noch einige Korrekturen am Btrfs-Code zum Kernel, unter anderem für Probleme, die sich beim Einsatz von Direct I/O oder beim Zusammenspiel mit NFS zeigten.

Eine umfangreiche, im Git-Pull-Request kurz erläuterte Umstrukturierung gab es beim teilweise auf dem Btrfs aufbauenden Code des Cluster-Dateisystems Ceph: Teile des Dateisystem-Codes wurden in die Kernel-interne Library libceph verlagert, auf die neben Ceph auch das neue und experimentelle Rados Block Device (RDB) aufsetzt. Ähnlich wie mit nbd oder iSCSI lassen sich damit Block Devices erstellen, deren Daten im Netz liegen – in diesem Fall in einem Ceph-Cluster. Weitere Hintergründe und eine Kurzbeschreibung der Funktion liefern ein Blog-Eintrag der Ceph-Entwickler und das Ceph-Wiki.

NFS, XFS und Co.

Der CIFS-Code zum Zugriff von Samba- oder Windows-Freigaben unterstützt nun die Mount-Option multiuser und mfsymlinks. Mit Hilfe eines neuen Idmappers kann der NFS-Client schneller und flexibler zwischen Namen und Identifikationsnummern (IDs) für Benutzer und Gruppen übersetzen – Details zur Funktion liefert die zugehörige Dokumentation. Einige Optimierungen am Readdir-Code von NFSv4 können das Auflisten von Verzeichnissen mit vielen Dateien erheblich beschleunigen, wie der Entwickler der Änderung mit Messwerten im Commit-Kommentar zeigt. Einige der wichtigsten Änderungen am NFSD-Code führt J. Bruce Fields in seinem Git-Pull-Request auf.

Einen guten Überblick über die Änderungen an XFS liefert das "XFS Status Update For October 2010" – einige Optimierungen rund um die Metadaten (u. a. 1) sollen etwa die Skalierbarkeit weiter verbessern und hätten das Entfernen von 50 Millionen Dateien in einem Test um über hundert Prozent beschleunigt.

Das Cluster-Dateisystem GFS2 gilt nicht mehr als experimentell und bietet nun Unterstützung für Fallocate. Einige weitere Änderungen an GFS finden sich im Git-Pull-Request von Steven Whitehouse; der von Joel Becker listet die wichtigsten Änderungen an OCFS2, der von Ryusuke Konishi die an NILFS2.

[pagebreak Besserer Skalierung, kleine Perlen]

Bessere Skalierung

Die kleinen Perlen

Viele kleinere, aber keineswegs unbedeutende Neuerungen finden sich in der folgenden Liste mit den englischen Commit-Überschriften der jeweiligen Änderung. Die Einträge verlinken genau wie viele der Verweise im vorangegangenen Text auf das Webfrontend des von Linus Torvalds gepflegten Git-Zweigs mit den "offiziellen" Kernel-Quellen auf Kernel.org. Der über diese Links angezeigten Commit-Kommentar und der darunter ausgegebene Patch liefern zahlreiche weitere Informationen zur jeweiligen Änderungen.

Vor jedem Link finden sich in eckigen Klammern einige Buchstaben und Zahlen. Ein "C" kennzeichnet Patches mit Änderungen an Kconfig-Dateien, welche die Hilfetexte und Konfigurationsoptionen enthalten, die bei der Kernel-Konfiguration über "make menuconfig", "make xconfig" und ähnliche Werkzeuge angezeigt werden. Ein "D" steht bei Patches, die die Dokumentation verändern, die im Kernel-Zweig unterhalb von Documentation/ liegt. Ein "N" weist Änderungen aus, die eine neue Datei anlegen. Die Zahl vermittelt einen groben Eindruck zur Größe des Patches: eine "1" steht etwa für Änderungen, die inklusive Kommentar zwischen 10 und 20 KByte groß sind, eine "2" für solche, die zwischen 20 und 30 KByte Umfang haben; Änderungen ohne Zahl sind kleiner als 10 KByte, Patches mit einer "9" hingegen 90 KByte oder größer.

Btrfs

• [    ] Btrfs: add support for mixed data+metadata block groups
• [    ] Btrfs: allow subvol deletion by unprivileged user with -o user_subvol_rm_allowed
• [    ] Btrfs: async transaction commit
• [    ] Btrfs: let the user know space caching is enabled
• [    ] Btrfs: Switch the extent buffer rbtree into a radix tree
• [    ] Btrfs: tune the chunk allocation to 5% of the FS as metadata

Ext[234]

• [    ] ext3/ext4: Factor out disk addressability check
• [    ] ext4: add batched_discard into ext4 feature list
• [    ] ext4: add interface to advertise ext4 features in sysfs
• [    ] ext4: Add new ext4 inode tracepoints
• [    ] ext4: avoid uninitialized memory references in ext3_htree_next_block()
• [    ] ext4: implement writeback livelock avoidance using page tagging
• [   3] ext4,jbd2: convert tracepoints to use major/minor numbers
• [    ] ext4: move mpage_put_bnr_to_bhs()'s functionality to mpage_da_submit_io()
  
• [    ] ext4: optimize orphan_list handling for ext4_setattr

NFS

• [   2] NFS: add readdir cache array
• [ D  ] NFS: Allow NFSROOT debugging messages to be enabled dynamically
• [    ] NFS: client needs to maintain list of inodes with active layouts
• [    ] NFS: create and destroy inode's layout cache
• [    ] nfsd4: fix hang on fast-booting nfs servers
• [C  2] nfsd4: remove spkm3
• [C   ] nfsd: allow deprecated interface to be compiled out.
• [ D  ] nfsd: formally deprecate legacy nfsd syscall interface
• [   1] nfs: introduce mount option '-olocal_lock' to make locks local
• [    ] NFS: Optimise the readdir searches
• [ D  ] NFS: rename nfs.upcall -> nfs.idmap
• [  N ] NFS: set layout driver
• [   3] NFSv4.1: pnfs: add LAYOUTGET and GETDEVICEINFO infrastructure
• [    ] NFSv4.1: pnfsd, pnfs: protocol level pnfs constants
• [  N2] NFSv4.1: pnfs: filelayout: add driver's LAYOUTGET and GETDEVICEINFO infrastructure
• [  N ] NFSv4.1: pnfs: filelayout: introduce minimal file layout driver
  
• [CDN ] NFSv4.1: pnfs: full mount/umount infrastructure

Various others

• [    ] 9p: Add a Direct IO support for non-cached operations.
• [    ] 9p: Implement TGETLOCK
• [    ] 9p: Implement TLOCK
• [    ] 9p: Implement TREADLINK operation for 9p2000.L
• [    ] BKL: Remove BKL from NILFS2
• [    ] cifs: Allow binding to local IP address.
• [   1] cifs: convert cifs_tcp_ses_lock from a rwlock to a spinlock
• [   1] cifs: convert GlobalSMBSeslock from a rwlock to regular spinlock
• [   1] cifs NTLMv2/NTLMSSP ntlmv2 within ntlmssp autentication code
• [ D  ] fs/9p: Add access = client option to opt in acl evaluation.
• [    ] fs/9p: Add xattr callbacks for POSIX ACL
• [   1] fs/9p: Implement create time inheritance
• [C N1] fs/9p: Implement POSIX ACL permission checking function
• [    ] fs/9p: Implement setting posix acl
• [    ] fs: allow for more than 2^31 files
• [    ] fs: allow for more than 2^31 files
• [    ] fs: Do not dispatch FITRIM through separate super_operation
• [    ] fs: Implement lazy LRU updates for inodes
• [   1] fs: inode split IO and LRU lists
• [    ] fs: introduce a per-cpu last_ino allocator
• [   1] fs/locks.c: prepare for BKL removal
• [    ] GFS2: Add "norecovery" mount option as a synonym for "spectator"
• [    ] lockd: Mostly remove BKL from the server
• [ D  ] locks: remove fl_copy_lock lock_manager operation
• [    ] net/9p: Add waitq to VirtIO transport.
• [    ] nilfs2: add bdev freeze/thaw support
• [   1] nilfs2: do not allocate multiple super block instances for a device
• [  N ] nilfs2: make snapshots in checkpoint tree exportable
• [C  1] NTLM auth and sign - Define crypto hash functions and create and send keys needed for key exchange
• [    ] NTLM auth and sign - minor error corrections and cleanup
• [   1] NTLM auth and sign - Use kernel crypto apis to calculate hashes and smb signatures
• [ D  ] ocfs2: Add a mount option "coherency=*" to handle cluster coherency for O_DIRECT writes.
• [    ] ocfs2: Add readahead support for CoW.
• [    ] ocfs2: Add readhead during CoW.
• [C   ] quota: Make QUOTACTL config be selected by its users
• [    ] sunrpc: Make the /proc/net/rpc appear in net namespaces
• [  N ] sunrpc: The per-net skeleton
• [    ] sunrpc: use seconds since boot in expiry cache
• [   1] UBIFS: introduce new flags for RO mounts
• [    ] xfs: batch inode reclaim lookup
• [   1] xfs: Extend project quotas to support 32bit project ids
• [    ] xfs: implement batched inode lookups for AG walking
• [ D  ] xfs: remove experimental tag from the delaylog option
• [   1] xfs: split inode AG walking into separate code for reclaim

Weitere Hintergründe und Informationen rund um Entwicklungen im Linux-Kernel und dessen Umfeld finden sich in den vorangegangenen Kernel-Logs auf heise open. Neue Ausgaben des Kernel-Logs werden auf den Identi.ca- und Twitter-Konten "@kernellog" erwähnt; die englischen, bei den Kollegen von "The H" erscheinenden Übersetzungen auf den Identi.ca- und Twitter-Konten "@kernellog2". Gelegentlich zwitschert der Autor des Kernel-Logs unabhängig davon über einige Kernel-Log-Themen bei Identi.ca und Twitter als "@kernellogauthor". (thl).

(thl)