Machine-Learning-Framework TensorFlow 2.9 erweitert Keras und TF Lite
Die Keras-Library bekommt zusätzliche ResNet-Modelle und flexiblere Optimizer. Die schlanke Lite-Variante kennt zusätzliche Datentypen und Operationen.
(Bild: Gerd Altmann, gemeinfrei)
- Rainald Menge-Sonnentag
Das Machine-Learning-Framework TensorFlow ist in Version 2.9 erschienen. Google hatte auf der Entwicklerkonferenz Google I/O einige Vorträge rund um TensorFlow, aber das Release erscheint nun ohne große Ankündigung nach der Konferenz. Version 2.9 bringt zwar zahlreiche, aber keine Keynote-tauglichen Neuerungen, die mit der Pixel Watch, Android 13 oder einer neuen Hauptversion des Cross-Plattform-Frameworks Flutter mithalten können.
Computer Vision und Optimierer für Keras
Die Deep-Learning-Library Keras, die seit TensorFlow 2.0 fester Bestandteil des ML-Frameworks ist, bekommt mit tf.keras.applications.resnet_rs eine Anbindung an ResNet-RS-Modelle. Dabei handelt es sich um eine Weiterentwicklung der Residual Networks (ResNet), die im Bereich von Computer Vision eingesetzt werden. 2015 hatte ein ResNet-Modell die Klassifikationsaufgabe des Wettbewerbs ImageNet Large Scale Visual Recognition Challenge (ILSVRC) gewonnen.
ResNet-RS ist eine neue Familie der ResNet-Modelle, die auf den von Google entwickelten TPUs (Tensor Processing Units) eine deutlich bessere Performance bringen sollen als die ebenfalls auf Effizienz ausgelegten EfficientNets. Keras bringt im aktuellen Release die Modellarchitekturen ResNetRS50, ResNetRS101, ResNetRS152, ResNetRS200, ResNetRS270, ResNetRS350 und ResNetRS420 mit.
Außerdem bekommt die Library eine neue Architektur für den Optimierer, die zusätzliche Anpassungen erlaubt. Die in Keras enthaltenen Adam-, SGD-, Adadelta-, AdaGrad- und RMSprop-Optimizer bauen auf der neuen Architektur auf. Derzeit sind sie noch als experimentell gekennzeichnet und dementsprechend unter tf.keras.optimizers.experimental.Optimizer zu finden.
Schlanke Variante
Das auf Embedded Devices und Mobilgeräte ausgelegte TF Lite, das 2019 in Version 1.0 erschienen war, hat bereits in Version 2.8 zahlreiche neue Operationen mitgebracht. Das aktuelle Release kennt zusätzlich die Funktionen zum Bestimmen des Index mit dem kleinsten beziehungsweise größten Wert über die Achsen eines Tensors tf.math.argmin und tf.math.argmax für den Eingabetyp tf.bool. Die Aktivierungsfunktion für die Gaussian Error Linear Unit (GELU) tf.nn.gelu ist nun für den Ausgabetyp tf.float32 verfügbar.
Am 2. und 3. Juni geht die Minds Mastering Machines in die fünfte Runde. Nach zwei Online-Veranstaltungen findet die fünfte Auflage der Machine-Learning-Konferenz wieder vor Ort im IHK-Haus der Wirtschaft in Karlsruhe statt.
Die Veranstalter iX, heise Developer und dpunkt.verlag haben dieses Jahr besonders viele Erfahrungsberichte ausgewählt. Daneben stehen aktuelle ML-Themen wie Sentence Embeddings, Kausale Inferenz, Data Mesh und Knowledge Destillation auf dem Plan.
Der Konverter zum Umwandeln eines TF-Modells in ein TF-Lite-Modell arbeitet nun standardmäßig mit nativen TF-Lite-Variablen. Außerdem kennt TF Lite neuerdings vorzeichenlose 16-Bit-Integer-Tensor-Typen, wobei die Release Notes von einem nominellen Support sprechen, da fast kein TFLite-Kernel den Typ nativ mitbringt.
Zu den weiteren nennenswerten Neuerungen in TensorFlow 2.9 gehört, dass die oneDNN-CPU-Optimierungen, die Teil von Intels oneAPI-Spezifikation sind, in den Paketen für Linux x86, Windows x86 und Linux aarch64 verfügbar sind. Derzeit sind sie jedoch weitgehend standardmäßig deaktiviert. Lediglich das Linux-x86-Paket aktiviert sie für explizit auf künstliche neuronale Netze ausgelegte CPUs wie AVX512-VNNI (Vector Neural Network Instructions).
Weitere Details lassen sich den Release Notes im GitHub-Repository von TensorFlow entnehmen.
(rme)
