Der Blick in die Tiefe des Raumes

Dieser Text ist der Print-Ausgabe 11/2009 von Technologie Review entnommen. Das Heft kann, genauso wie die aktuelle Ausgabe, hier online portokostenfrei bestellt werden.

Automatische Bildverarbeitung und Bilderkennung haben inzwischen fast jeden Bereich erobert: von der Materialprüfung bis zur 3-D-Filmindustrie.

Appetitlich sieht das Zeug auf dem Fließband nicht gerade aus: zusammengedrückte Zahnpastatuben, ausgelöffelte Joghurtbecher, leer getrunkene Colaflaschen – das Inventar einer Recycling-Tonne. Nur: Um das Plastik effektiv wiederverwerten zu können, müssen die verschiedenen Kunststoffsorten, aus denen die Verpackungen jeweils bestehen, hübsch ordentlich voneinander getrennt werden. Und das ist immer öfter die Arbeit von Maschinen. Möglich wird das durch eine automatische Bildverarbeitung, deren Methoden immer schneller, leistungsfähiger und raffinierter werden.

"Sehende Automaten" sind heute in der Lage, fehlerhafte Chip-Leiterbahnen zu erkennen, kaputte Pfandflaschen in einem Kasten aufzuspüren – oder eben eine PET-Buddel von einer Shampooflasche aus Polypropylen zu unterscheiden. Damit können sie den Menschen als Sortierer oder Qualitätsprüfer nach und nach ersetzen. Zwar ist das menschliche Hirn meisterhaft in der Lage, Bilder zu deuten, zu vergleichen und sich zu merken. Doch gerade in der Akkord-Routine am Fließband droht die Konzentration eines Prüfers mit der Zeit nachzulassen, die Fehlerquote steigt. Hinzu kommt: Eine Prüfmaschine ist meist deutlich billiger als ein Inspektor aus Fleisch und Blut.

Kommerzielle Bilderkennungssysteme kamen zunächst in den Werkhallen der Industrie zum Einsatz. Heute finden sie sich in vielen anderen Bereichen: Im Auto helfen Fahrassistenzsysteme bereits beim Einparken und Spurhalten. Sie können sogar Personen erkennen und Einsicht in tote Winkel ermöglichen. In Krankenhäusern und Arztpraxen unterstützen intelligente Bildgebungsverfahren die Mediziner bei der Diagnose von Tumoren oder Herzerkrankungen. Notebooks mit Gesichtserkennungssoftware können berechtigte User identifizieren. Und ausgeklügelte Konvertierungsprogramme sorgen dafür, dass ein ganz normaler Kinofilm zu einem spektakulären 3-D-Streifen wird.

Mit einem von dem US-Amerikaner Paul Debevec entwickelten Verfahren gelingt es inzwischen auch, Gesichter von Schauspielern so zu generieren, dass sie echter als das Original wirken, was lange Zeit unerreichbar schien. Dazu wird der Schauspieler während der Spielszene von allen Seiten mit über 100 Lampen gleichzeitig beleuchtet, sodass keine Schatten entstehen, und mit Stereokameras fotografiert. Die Bilder liefern die Daten dafür, wie die Oberfläche des Gesichtes beschaffen ist, seine Farben und Reflexionen etwa. Für die Erfassung der räumlichen Struktur werden dem Schauspieler Muster wie Streifen oder Wellen auf das Gesicht projiziert. Aus den Verformungen der Linien lässt sich ein 3-D-Bild konstruieren – ein Trick, der auch für andere Verfahren genutzt wird. Das digitale Gesicht entsteht schließlich durch eine Kombination von berechneter Struktur und Textur. Das künstliche Konterfei kann dann dem Original im Film quasi "übergestülpt" werden, nachträglich mit den gewünschten Lichteffekten bearbeitet und so die auf der Lichtbühne gespielte Szene entweder an den sonnenhellen Meeresstrand oder in eine düstere Kathedrale verlagert werden.

Die Einsatzmöglichkeiten für maschinelles Sehen lassen sich mit dem richtigen Know-how nahezu unbegrenzt erweitern. Insgesamt, so schätzen Experten, liegt das Marktvolumen für Bilderkennungssysteme in Deutschland bei mehr als einer Milliarde Euro. Weltweit dürften es knapp zehn Milliarden sein.

Die ersten industriellen Systeme kamen in der Chipherstellung auf. Das Prinzip: Eine Kamera erfasst ein Mikroskopbild des soeben hergestellten integrierten Schaltkreises. Dieses vergleicht der Rechner mit einem oder mehreren Referenzmustern. Ist die Abweichung von den vorgegebenen Sollwerten zu groß, landet der Chip im Ausschuss. Der Aufbau eines Mikrochips macht es den Rechnern dabei relativ leicht: Die Leiterbahnen bilden klar definierte zweidimensionale Strukturen, die sich bei geeigneter Beleuchtung deutlich von ihrer Umgebung abheben und deshalb von der Software gut erkannt werden.

Bei dieser automatischen Erkennung gleicht das Programm aber nur selten das komplette aufgenommene Bild mit einer Datenbank ab – das wäre viel zu rechenintensiv. Stattdessen konzentriert sich der Computer auf bestimmte charakteristische Merkmale, zum Beispiel auf die Abstände zwischen markanten Punkten oder das Zahlenverhältnis zwischen Umfang und Fläche eines Objekts – ein simples Maß für dessen Form. Oder, wie bei der automatischen Sortierung von Äpfeln, reicht neben der Größenmessung eine einfache Analyse der Farbe, um herauszufinden, ob die Frucht reif ist.

Durch diese Beschränkung aufs Wesentliche sinken Datenvolumen und Rechenaufwand, und die Geschwindigkeit steigt. Heutige Bilderkennungssysteme erfassen Früchte, Federn oder Füllstände von Flaschen in Sekundenbruchteilen und trennen bei Bedarf gut von schlecht. Einige Systeme können heute mehr als hundert Objekte pro Sekunde erkennen und vermessen – eine wichtige Voraussetzung für günstige Fertigungsprozesse. Bis vor einiger Zeit musste man dazu die Bilderkennungssoftware bis ins Detail programmieren, ihr also per Mausklick und Tastatureingabe mitteilen, auf welche Merkmale und Parameter sie achten solle. Doch allmählich werden die Automaten smarter: Bei vielen Systemen reicht es mittlerweile, ihnen einfach genügend viele Stichproben des zu prüfenden Produkts zu zeigen. Ausgehend von diesen Referenzbildern wählt sich die Bildverarbeitungssoftware dann die bestgeeigneten Merkmale selbst aus. Das Problem: "Damit das zuverlässig funktioniert, brauchen die heutigen Objekterkennungssysteme meist sehr viele Stichproben, es können Tausende sein", sagt Joachim Denzler, Professor für Bildverarbeitung an der Universität Jena. "Genau das hält manche Industrieunternehmen bislang davon ab, solche Systeme zu verwenden." Deshalb suchen die Experten nach Algorithmen, die charakteristische Bildmerkmale deutlich effizienter aufspüren können und dadurch mit viel weniger Stichproben auskommen. Denzler: "Wenn man hier vorankäme, würde die industrielle Bilderkennung einen Boom erleben."

Ein weiterer Trend: Während die Technik früher nur flächige Strukturen erkennen konnte, vermag sie nun auch zunehmend dreidimensionale, räumliche Gebilde wie Autotanks oder Motorblöcke zu identifizieren. Bei der simpelsten Variante beobachten zwei oder mehr Kameras das Objekt aus verschiedenen Richtungen, oder eine Kamera bewegt sich um das Objekt herum. In beiden Fällen entstehen Aufnahmen aus mehreren Blickwinkeln, aus denen die Software die Gestalt des Objekts mehr oder weniger präzise rekonstruieren kann.

Aber die Fachleute entwickeln auch neue, raffinierte Methoden, die eine 3-D-Information aus einem einzigen, eigentlich zweidimensionalen Kamerabild rekonstruieren. Der Trick: Die Fachleute bieten dem Rechner eine Zusatzinformation an, mit deren Hilfe er eine gestufte oder gebogene Oberfläche erkennen und vermessen kann. Zum Beispiel wird das zu erkennende Objekt, etwa eine Felge, per Spezial-Beamer oder Laser mit einem Linienmuster bestrahlt. Sämtliche 3-D-Strukturen, also Vorsprünge, Ausbeulungen oder Vertiefungen, verzerren das Linienmuster. Indem die Software diese Verzerrungen haarklein analysiert, kann sie auf die räumliche Form der Felge schließen und zum Beispiel herausfinden, ob sie nach dem Gießprozess auch wirklich rund ist. Mittlerweile können die Forscher sogar die Form durchsichtiger Kunststofflinsen automatisch prüfen. Dazu beschichten sie die Linsen vor der Kontrolle mit einer hauchdünnen Schicht aus Farbstaub, die das projizierte Linienmuster sichtbar macht.

Bei komplexeren Gebilden wie einer Autotür projiziert der Beamer mehrere verschiedene Streifenmuster nacheinander auf das Objekt. Die Kamera nimmt ein Video auf, das die Bildverarbeitungs-Software dann analysiert. Diese Methode erlaubt bei der Qualitätskontrolle eine sehr schnelle Vermessung. Bei der alten Technik hingegen musste ein Gerät mit eingebautem Abstandssensor um die Tür herumfahren, um die Form zu erfassen – eine zeitraubende Prozedur.

Eine andere Variante, das "Shape from Shading" (SFS), kann Knittermuster bei Textilien erkennen oder automatisch kontrollieren, ob Blindenschrift korrekt geprägt wurde. Die Methode bildet quasi die Umkehrung einer alten Maltechnik, derer sich schon Leonardo da Vinci und Rembrandt bedienten: Mit der Hell-Dunkel-Malerei schafften die Künstler in ihren zweidimensionalen Bildern eine erstaunliche Illusion von Tiefe. Bei SFS dagegen ermittelt die Maschine die Helligkeitsverteilung auf einer geschickt beleuchteten Oberfläche. Das Entscheidende: Die Helligkeitsverteilung hängt von den 3-D-Strukturen ab, die sich auf der Oberfläche befinden. Daraus vermag der Bilderkennungsalgorithmus dann zu rekonstruieren, wie die Oberfläche geformt ist. "Mathematisch gesehen ein höchst komplexes Optimierungsproblem", sagt Denzler. "Erst seitdem es schnelle Rechner gibt, kommt dieses Verfahren für die Industrie infrage."

Eine weitere Methode setzt auf den Schärfentiefe-Effekt: Schaut man sich ein winziges Zahnrad aus einer Taschenuhr unter dem Mikroskop an, gelingt es einem nie und nimmer, das gesamte Rädchen scharf zu stellen. Durch die begrenzte Schärfentiefe des Mikroskops ist stets nur eine bestimmte Ebene deutlich zu erkennen. Genau das lässt sich ausnutzen, um aus einem 2-D-Bild eine zusätzliche Höheninformation herauszupressen: Die Höhe nämlich korreliert mit dem Grad der Unschärfe, den die Bildverarbeitung verlässlich zu ermitteln weiß. Mit diesem Verfahren lassen sich Kleinstbauteile wie Mikrobohrer oder Mikrozahnräder effektiv prüfen.

"Bislang funktioniert die Prüfung eines komplexen Bauteils meist nur stichprobenartig", schränkt Norbert Bauer ein, Koordinator der "Fraunhofer-Allianz Vision", einem Verbund aus 14 Fraunhofer-Instituten zum Thema Bilderkennung. Deshalb arbeiten die Experten daran, die 3-D-Methoden noch schneller zu machen – so schnell, dass sie wirklich jedes Teil in einer Produktionslinie automatisch prüfen können. "Die heutige Hardware – also Rechner und Grafikkarten – reicht für die meisten Anwendungen vollkommen aus", meint Joachim Denzler. "Nun geht es vor allem darum, die Software und die dahintersteckenden mathematischen Verfahren zu verbessern." Eine besondere Herausforderung für die sehenden Automaten bilden organische Materialien: Schließlich haben Leder, Holz und Stoffgewebe eine "lebende", also reichlich inhomogene Oberfläche. Zwischen Maserungen, Astlöchern, Naturfältchen oder Farbverläufen einen Fehler wie einen Riss aufzuspüren, ist bislang selbst für die schlauste Software eine harte Nuss. Zwar sind in den Fraunhofer-Labors schon erste Systeme in der Lage, die Qualität von Leder passabel zu prüfen. Bislang aber sind sie schlicht zu langsam, um in Gerbereien oder Möbelfabriken Einzug zu halten.

Hinzu kommt, dass Maschinen nicht flexibel differenzieren können. "Eine Maschine sortiert bei jedem Kratzer, der oberhalb einer bestimmten Schwelle liegt, konsequent aus", erläutert Bauer. "Ein menschlicher Prüfer dagegen beurteilt zusätzlich, ob der Kratzer an dieser Stelle wirklich so schlimm ist, dass das Teil ausgesondert werden muss." Das bedeutet: In Bereichen, in denen es keine klaren Ja/Nein-Kriterien gibt, sondern fließende Entscheidungen, droht ein Automat womöglich mehr Ausschuss zu produzieren als nötig. Aus diesem Grund versuchen die Ingenieure nicht nur, die eigentliche Bilderkennungssoftware zu verfeinern, sondern stellen ihr zusätzliche Bewertungsprogramme zur Seite, die das menschliche Urteil virtuell imitieren. Die Programme sollen zum Beispiel berücksichtigen, dass ein Kratzer an einer gemaserten Stelle einer Holztür weniger stört als an einer ungemaserten.

Ein weiteres Problem: "Die meisten Systeme sind derzeit noch teure Insellösungen", sagt Joachim Denzler. "Könnte man sie von der Stange verkaufen, würden sicher noch viel mehr Unternehmen auf automatische Bildverarbeitung setzen." Entsprechende Software ist durchaus schon zu haben. So bietet die Münchener MVTec Software GmbH Bilderkennungsprogramme an, die der Kunde nach dem Baukastenprinzip nach eigenem Gutdünken konfigurieren kann, wie er es braucht. "Das kriegt ein Unternehmen in der Regel mit seinen eigenen Ingenieuren hin", sagt Geschäftsführer Wolfgang Eckstein. "Man muss also keine externe Firma mit einer teuren Speziallösung beauftragen. Dadurch wird die automatische Bildverarbeitung vermehrt auch für kleine und mittelständische Unternehmen interessant." Immer öfter wird die automatische Bildverarbeitung auch mit speziellen Analyseverfahren kombiniert – so bei der Trennung von Plastikmüll. Hier erkennt die Software, ob gerade eine Colaflasche, eine Duschgel-Verpackung oder ein Cremedöschen auf dem Fließband vorbeirauscht. Gleichzeitig analysiert ein Infrarot-Spektrometer, aus welcher Sorte Kunststoff ein Teil besteht. Als Konsequenz kann der Rechner einem Sortierroboter mitteilen, ob er das jeweilige Plastikstück in den PET-Container schieben soll oder in den Behälter für Polypropylen.

Andere Verfahren erlauben sogar den zerstörungsfreien Blick ins Innere eines Werkstücks. Insbesondere die automatische Röntgenprüfung wird in den Werkhallen der Auto- und Flugzeughersteller immer wichtiger. Gecheckt werden hier vor allem sicherheitsrelevante Bauteile aus Aluminium – Felgen, Fahrwerk, Lenkung. Denn beim Gießprozess können sich unbemerkt Luftblasen oder Fremdkörper im Leichtmetall einnisten und damit potenzielle Bruchstellen entstehen.

Die Röntgenbilder zeigen, wie viele Defekte ein Bauteil enthält und wie groß deren Fläche ungefähr ist. Aber sie sagen nichts darüber aus, wo die unerwünschten Hohlräume genau stecken und welches Volumen sie umfassen. Das ist aber eine relevante Information: Denn oberflächennahe Fehler sind als mögliche Ausgangspunkte für Risse gefährlicher als Defekte, die in den Tiefen des Werkstückes stecken. "Man braucht also die räumliche Information", meint Wenzel. "Der Weg dorthin führt über die Computertomografie wie in der Medizin" (siehe TR 5/2009). Allerdings sieht so ein Werkhallen-Tomograf ganz anders aus als ein Krankenhaus-CT, bei der Röntgenquelle und -detektor um den Patienten in der Röhre kreisen. Stattdessen wird zumeist das Objekt gedreht, und der Messapparat verharrt. Nur bei großen und flächigen Gebilden wie einem Flugzeug-Rumpfsegment bewegen sich spezielle Röntgenroboter in komplexen Bahnen um das Prüfobjekt. Innerhalb von wenigen Minuten kommen dann mehrere Gigabyte an Daten zusammen – ein Mammutjob für die Bildverarbeitung.

Lacke oder Keramikschichten hingegen dürften sich effektiver mit einer anderen Methode durchleuchten lassen – den Terahertz-Wellen, jenem noch nahezu ungenutzten Frequenzbereich, der zwischen den Radiowellen und der Infrarotstrahlung liegt. Eine dreidimensionale Terahertz-Aufnahme kommt ähnlich zustande wie ein Ultraschallbild: Kurze Terahertz-Pulse werden von den Strukturen im Inneren eines Werkstücks unterschiedlich stark reflektiert. Aus den Laufzeitunterschieden der reflektierten Pulse rekonstruiert der Rechner ein 3-D-Bild. Anschließend durchforstet die Bildverarbeitungssoftware die Zeitstruktur und fahndet nach Fehlstellen. Ein unerwünschter Hohlraum etwa verrät sich durch zusätzliche Reflexionen.

Das Verfahren steht an der Schwelle zur industriellen Anwendung. "Es ist sehr gut geeignet, um Mehrschicht-Lacke zu inspizieren und Fehler in Folien zu erkennen", sagt Joachim Jonuscheit vom Fraunhofer-Institut für Physikalische Messtechnik in Kaiserslautern. Für die Qualitätskontrolle am Fließband taugt die Terahertz-Methode allerdings noch nicht. Dazu ist sie zu langsam, sodass man vorerst nur Stichproben aus der Produktion prüfen können wird. Ist dies Problem gelöst, gäbe es nahezu unbegrenzte Anwendungsmöglichkeiten. So entlarven die Terahertz-Aufnahmen sogar Fremdkörper in Lebensmitteln. Glassplitter in einer Tafel Schokolade etwa, die einem den süßen Genuss sehr nachhaltig verleiden könnten. Die eigentlich gute Nachricht: So etwas kommt sowieso nur äußerst selten vor. (bsc)