Bildverarbeitung im Einsatz -  Anwendungsbeispiele aus zahlreichen Branchen

Industrielle Bildverarbeitung

in der Praxis

Kundenreferenzen und Anwendungsbeispiele

Sichere Unterscheidung von 2500 Tray-Varianten

März 2019

Einkauf, Logistik und Zoll ist das Terrain der Matrium GmbH in Deutschland und Frankreich. Mit einer speziell entwickelten Anlage in seiner Niederlassung in Olching bei München sortiert das Unternehmen JEDEC-Trays, in denen elektronische Bauelemente transportiert werden. Um bis zu 2500 verschiedene Typen dieser Trays sicher voneinander unterscheiden zu können, nutzt Matrium die Leistungsfähigkeit des Software-Tools CVB Polimago aus der Bildverarbeitungsbibliothek Common Vision Blox von STEMMER IMAGING.

Als 49%-Tochter von Airbus befasst sich die Matrium GmbH zu großen Teilen mit Logistik-Aufgabenstellungen in der Luftfahrtindustrie. Doch das im Jahr 2003 gegründete Unternehmen bietet auch in anderen Branchen spezialisierte Lösungen für die Logistik an. So hat Matrium ein System für einen Kunden der Elektronikindustrie entwickelt, mit dem Trays für elektronische Bauelemente mit Hilfe eines Bildverarbeitungssystems unterschieden und dann von einem Roboter in dafür vorgesehene Fächer abgelegt werden.

Diese Trays dienen als Transportbehälter für elektronische Bauelemente, deren Größe zwischen 3 x 3 mm und etwa 40 x 40 mm liegen kann. Eine Konstante ist dabei lediglich die Fläche der rechteckigen Trays, die 12,7 x 5,35 Inches (322,6 x 136 mm) beträgt. Um die Bauelemente sicher zu transportieren, weisen die Trays entsprechende Vertiefungen auf, in die Prozessoren und andere Elektronikkomponenten nach ihrer Produktion bei verschiedenen Herstellern von elektronischen Bauelementen eingelegt werden.

Die Transportbehälter für elektronische Bauelemente, die auf der Matrium-Anlage sortiert werden, weisen bis zu 2500 unterschiedliche Geometrien auf.

Die sehr kleinen Kennzeichnungen der Trays mit unterschiedlichen Schriftarten lassen sich von der Bildverarbeitung aufgrund des geringen Kontrasts nur schwierig erkennen.

„Wenn die Elektronikkomponenten auf den Trays ausgeliefert sind, erhalten wir die leeren Trays von unserem Kunden oder den Verwendern zurück, so dass diese nach Prüfung und Sortierung erneut genutzt werden können, beschreibt Martin Eikel, Leiter IT bei Matrium, den Materialkreislauf.

Die Hersteller möchten diese Trays nach Typen sortiert zurückbekommen, und diese Aufgabe ist angesichts der rund 2500 existierenden Varianten mit zum Teil nur minimalen Unterschieden bezüglich Form, Material und Dicke nicht einfach zu lösen.“ Darüber hinaus erfolgt für jedes Tray eine elektrische Messung des Oberflächenwiderstands nach DIN EN 61340, welche nur automatisiert erfolgen kann.

Komplettsystem ersetzt manuelle Sortierung

Matrium übernimmt die Tray-Sortierung als Dienstleister schon seit Jahren für einen der weltweit größten Distributoren für elektronische Komponenten und Embedded-Lösungen. Lange Zeit erfolgte diese Sortierung auf manuelle Weise durch unsere Mitarbeiter, doch wir wollten diesen Prozess automatisieren, um somit die Arbeitsbelastung zu reduzieren und die erhöhten Anforderungen an die Widerstandsmessung erfüllen zu können“, erläutert Eikel. „Zudem wurde es für unsere Kollegen durch neue Varianten immer aufwändiger, die verschiedenen Tray-Typen zu unterscheiden, das stellte sie vor echte Herausforderungen.“

Deshalb entstand die Idee, eine Anlage zu entwickeln, die mit Hilfe von Bildverarbeitung als Sensorik und einem Portalroboter als Handhabungsgerät für eine wirtschaftlichere und zuverlässigere Sortierlösung sorgen sollte.

Im Herbst 2015 entwickelte der IT-Leiter mit seinem Mitarbeiter Martin Gericke zuerst eine 3D-Simulation der Anlage. Im Frühjahr 2016 wurde daraus mit der MTS-1 Realität. MTS steht für Matrium Tray-Sortiermaschine – und genau diese Aufgabe übernimmt diese erste Anlage ihrer Art nach Eikels Worten je nach Tray-Hersteller inzwischen mit 95 prozentiger Sicherheit.

Ein kleiner Teil der Aufgabe erfolgt dabei noch heute von Hand durch Matrium-Mitarbeiter: Sie befüllen den Transportwagen der Sortiermaschine mit Traystapeln bis zu einer Höhe von maximal 180 Trays und stellen somit in diesem Arbeitsschritt sicher, dass die Bauelementeträger richtig orientiert und fehlerfrei sind. „Trays mit abgebrochenen Ecken, Rissen, Aufklebern oder sonstigen Fehlern nehmen wir schon vor dieser Stelle bei der Vorsortierung nach Hersteller von Hand aus dem Prozess“, erklärt Eikel.

Die MTS-1 verfügt über fünf Stapelschächte, die im laufenden Betrieb nachgefüllt werden können. Ohne Nachfüllen kann die Anlage 3 Stunden vollautomatisch sortieren. Die MTS-1 legt bis zu 13 verarbeitete Trays in eines der 330 Ablagefächer ab, die laufend geleert werden. Ein sortierter Stapel wird danach verpackt, etikettiert und bis zum Abruf durch den Kunden eingelagert.

Bildverarbeitung sorgt für sichere Unterscheidung

Eine vertikal verfahrbare Achse mit einem von Gericke speziell entwickelten Greifer nimmt zunächst das jeweils oberste Tray von einem Stapel und positioniert es vor den drei Kameras des integrierten Bildverarbeitungssystems. Zwei dieser Kameras nehmen Bilder von oben, eine von der Seite auf und liefern diese Bilddaten an den eingesetzten Industrie-PC.

Die darauf laufende Matrium Bildverarbeitungssoftware wertet anschließend mit Hilfe von CVB Polimago die Bilder aus und entscheidet, zu welchem Typ das eben untersuchte Tray gehört.

Während dieses Transportvorgangs und der Bilderfassung werden parallel die bis zu fünf erforderlichen elektrischen Messungen des Tray-Oberflächenwiderstands durchgeführt.

Eine Besonderheit bei der Bildaufnahme war in diesem Fall, dass je nach Materialzusammensetzung, Farbe und Mattigkeit der Trays unterschiedliche Reflexionen entstehen. Gelöst wurde dieses Problem, indem die jeweils ersten Bilder eines Trays als Histogramm ausgewertet werden, dessen Ergebnisse dann für die Helligkeitsregelung der nächsten Aufnahmen verwendet wurden. „Ziel war es, für jedes Objekt Aufnahmen mit mittlerem Grauwert zu erreichen, um optimale Voraussetzungen für die nachfolgende Bildauswertung zu schaffen. Pro Kamera werden daher bis zu sechs Aufnahmen mit unterschiedlicher Belichtungsdauer gemacht, bis der geforderte Grauwert erreicht ist.“

Diese Vorgehensweise ist zwar etwas zeitaufwändiger und dauert bis zu 2 Sekunden, doch die Zeitdauer ist in diesem Schritt nach Gerickes Worten nicht der entscheidende Faktor: „Während der Bilderfassung und -erkennung erfolgen noch zwei Widerstandsmessungen, die ebenfalls Zeit benötigen. Der selbst entwickelte Portalroboter, der die Trays nach der Bildaufnahme von der Vertikalachse übernimmt, benötigt pro Tray durchschnittlich 12 Sekunden, bis er es in das entsprechende Fach ablegt und das nächste aufnehmen kann.“

Trotz der für Bildverarbeitungsverhältnisse extrem langen Zeitspanne, die aufgrund dieser Situation für die Bildauswertung zur Verfügung steht, war es wegen der großen Typenvielfalt mit teilweise nur minimal abweichenden Unterscheidungsmerkmalen nicht einfach, eine sichere Abgrenzung der Varianten zu realisieren. „Die Trays verfügen an den Kanten der Oberseite und optional an einer Seite über erhöhte Kennzeichnungen, auf denen der genaue Typ kodiert ist. Das kann man sich vorstellen wie bei Autoreifen, allerdings ist die Kennzeichnung bei unseren Trays bis zu 1,8 mm klein.

Da die Bauelementeträger unterschiedlichste Kennzeichnungen besitzen und zudem unterschiedliche Schriftarten im Umlauf sind, werden eine Vielzahl von Mustern und Schriftzeichen angelernt. Aus der Kombination der CVB Polimago OCR-Erkennung und den gefundenen beziehungsweise nicht gefundenen Mustern wird letztendlich innerhalb von maximal 2 Sekunden das richtige Tray in einem eigenen Bewertungsverfahren ermittelt,“ erläutert Eikel.

Cleveres Anlernen mit CVB Polimago

Martin Eikel und Martin Gericke hatten bis zum Beginn dieses Projekts keinerlei Erfahrung im Umgang mit Bildverarbeitungssystemen. Angesichts der Herausforderungen bei dieser Sortieranwendung suchte der IT-Leiter daher professionelle Unterstützung und fand sie bei STEMMER IMAGING, wo die dortigen Bildverarbeitungsexperten auf die gesamte Bandbreite der technischen Möglichkeiten zurückgreifen konnten, um die optimale Lösung für dieses Projekt zu finden.

„Wir haben im Labor von STEMMER IMAGING Machbarkeitsuntersuchungen durchgeführt und dabei unter anderem verschiedene Beleuchtungsarten, Algorithmen und Vorverarbeitungsoptionen getestet“, erinnert sich Eikel. „Auch ‚Shape-from-Shading‘-Technologien sowie 3D-Laserscans haben wir dabei auf ihre Eignung für diese Aufgabenstellung untersucht, doch am Ende brachte die Optimierung der Bilderstellung für unsere Anwendung die besten Ergebnisse, so Eikel.

Aufgrund der großen Variantenvielfalt bei den Trays war das Anlernen von Mustern für das Matrium-Projekt eine ebenso entscheidende Frage wie die bestmögliche Bildaufnahme. Hier erwies sich das Bildverarbeitungs-Tool CVB Polimago aus der Softwarebibliothek Common Vision Blox (CVB) von STEMMER IMAGING als perfektes Werkzeug zur schnellen und robusten Mustererkennung sowie zum Lesen der Kennzeichnungen. CVB Polimago weist einen entscheidenden Vorzug auf: Durch das automatische Erstellen von Trainingsbildern reduziert sich der Aufwand während des Anlernens für den Anwender erheblich.

Florian Mayr, Vertriebsingenieur, STEMMER IMAGING
Florian Mayr, Vertriebsingenieur,
STEMMER IMAGING

Damit eine Mustererkennung unter realen Bedingungen zuverlässig funktioniert, muss das Trainingsmodell eine ausreichende Varianz aufweisen, erklärt Florian Mayr von STEMMER IMAGING, der Matrium als vertrieblicher Ansprechpartner während des Projekts betreute. „Wenn man geometrische Transformationen wie Drehungen, Größenänderungen, Verkippungen, Verdeckungen oder Änderungen in der Beleuchtungssituation schon in der Trainingsphase anlernt, steigt die Erkennungsrate im späteren Prozess.“

Schneller Weg zu stabilen Ergebnissen

Martin Eikel nennt einen weiteren wichtigen Aspekt, der für die Auswahl von CVB Polimago sprach: „Bei rund 2500 Tray-Varianten war es uns sehr wichtig, dass der Aufwand für das Anlernen möglichst gering ist. Hier spart uns CVB Polimago in der Trainingsphase viel Zeit, denn der Algorithmus generiert während des Anlernens künstliche Ansichten des Modells, um die verschiedenen Lagen eines Bauteils in der Realität zu simulieren. Schon mit einer Anzahl zwischen 20 und 50 Trainingsbildern konnten wir sehr stabile Ergebnisse erzielen und sind mit der bisher erreichten Erkennungsrate der Anlage sehr zufrieden. Darüber hinaus ermöglichte uns die gut dokumentierte Softwarebibliothek eine nahtlose Integration der Bildfunktionen in den Windows-Dienst für die Maschine als auch in die eigene datenbankbasierte Managementsoftware.“

Als besonders hilfreich für den schnellen Einstieg in das CVB-Tool empfand Eikel dabei die zahlreichen Anwendungs- und Programmbeispiele, die STEMMER IMAGING für CVB Polimago zur Verfügung stellt. Der IT-Leiter äußert sich sehr positiv über die Wahl seines Bildverarbeitungspartners. Besonders imponiert haben Eikel nach eigenen Worten dabei die hervorragende Beratung und Unterstützung bei der Auswahl der eingesetzten Komponenten sowie die schnellen Reaktionszeiten bei Fragen: „Wir konnten mit wenig Aufwand und mit der Unterstützung erfahrener Bildverarbeiter alle Optionen testen, um die Erkennungsqualität zu optimieren und die gesamte Anlage in Bezug auf die Bildverarbeitung bestmöglich auszulegen. Insgesamt hat uns die Unterstützung durch STEMMER IMAGING extrem geholfen, das System schnell zu realisieren und zuverlässige Sortierergebnisse zu erzielen.

Kurzportrait Matrium

Die Matrium GmbH ist ein Joint Venture der Airbus Defence and Space (Divison der Airbus Group) und der Logistik Zentrum Allgäu GmbH & Co. KG. Als Fullservice-Dienstleister in den Bereichen Logistik, Einkauf und Zoll arbeite seit über 12 Jahren für namhafte Kunden. Anspruch und Verpflichtung seit Gründung sind für uns organisches Wachstum und kontinuierliche Entwicklung. Dafür erarbeiten wir mit unseren Kunden Konzepte und verfeinern diese. Ziele und Leistung im Projekt messen wir – transparent und vertrauensvoll.

STEMMER IMAGING

Puchheim, Germany

STEMMER IMAGING ist seit 1987 in der industriellen Bildverarbeitung tätig und mittlerweile einer von Europas größten Technologie-Anbietern in diesem Bereich.

CVB Polimago
  • Mustererkennung und Posenschätzung (Position, Drehung, Skalierung und Verkippung)
  • Hohe Ausführungsgeschwindigkeit ermöglicht den Einsatz in Echtzeit-Anwendungen
  • Automatisches Erstellen von zusätzlichen Trainingsbildern