Bildverarbeitung im Einsatz -  Anwendungsbeispiele aus zahlreichen Branchen

Industrielle Bildverarbeitung

in der Praxis

Kundenreferenzen und Anwendungsbeispiele

“The show must go on!”- Mit 3D-Video-Mapping auf Tour

Bildverarbeitungs-Know-how von STEMMER IMAGING hilft einem der weltweit führenden Anbieter von Software für Erlebnisproduktion und Medienservern, spektakuläre visuelle Erlebnisse bei Live-Events zu liefern. Mit den 3D-Kamera-/Projektorsystemen lassen sich Videoinhalte perfekt auf komplexe geometrische Oberflächen wie Bühnen, Autos, Gebäude und Kuppeln projizieren. STEMMER IMAGING übernimmt die komplette Vorkonfiguration inklusive Test der Kamerasysteme und kümmert sich um den globalen Logistikprozess bis zur Eventlocation. Für den Kunden vor Ort wird ein einheitlicher Qualitätsstandard und die sofortige Einsatzbereitschaft der Systeme gewährleistet. Der Aufwand für die Einrichtung der Projektion wird erheblich reduziert.

Bildverarbeitungs-Know-how von STEMMER IMAGING hilft einem der weltweit führenden Anbieter von Software für Erlebnisproduktion und Medienservern, spektakuläre visuelle Erlebnisse bei Live-Events zu liefern. Mit den 3D-Kamera-/Projektorsystemen lassen sich Videoinhalte perfekt auf komplexe geometrische Oberflächen wie Bühnen, Autos, Gebäude und Kuppeln projizieren.

STEMMER IMAGING übernimmt die komplette Vorkonfiguration inklusive Test der Kamerasysteme und kümmert sich um den globalen Logistikprozess bis zur Eventlocation. Für den Kunden vor Ort wird ein einheitlicher Qualitätsstandard und die sofortige Einsatzbereitschaft der Systeme gewährleistet. Der Aufwand für die Einrichtung der Projektion wird erheblich reduziert.

Das Zusammenspiel von Kreativität und neuesten Projektionstechnologien hat bereits zahlreiche Veranstaltungen mit eindrucksvollen statischen und dynamischen Effekten zu spektakulären visuellen Erlebnissen werden lassen.

Bei der Realisierung spielt die verzerrungsfreie Videoprojektion auf komplexe dreidimensionale Objekte mit Subpixel-Genauigkeit eine entscheidende Rolle.

Die Software, Medienserver und Services von disguise werden weltweit bei Live-Konzerten, Installationen, TV/Broadcast, Film, E-Sport und Extended Reality eingesetzt.

Beispiele hierfür sind Konzert-Tourneen von U2, Beyoncé und Ariana Grande, Theaterproduktionen wie The Lehman Trilogy, The Cher Show und The House of Dancing Water, Ausstellungen wie der Renault-Stand auf dem Genfer Auto-Salon und andere Veranstaltungen wie das virtuelle Apollo-11-Live-Event zur Feier des 50-jährigen Jubiläums der Mondlandung.

3D-Kalibrierung

Für viele dieser Live-Events werden sowohl 2D- als auch 3D-Projektionen benötigt. Um eine einwandfreie Bilddarstellung zu gewährleisten, müssen die Bildinhalte sorgfältig auf die Projektionsflächen angepasst werden. In der Regel werden 2D- und 3D-Projektionen unabhängig voneinander kalibriert.

Für 3D-Projektionen wird dazu mit Hilfe der disguise-Software OmniCal ein 3D-Modell erstellt, das die reale Umgebung der Bühne oder des Sets genau nachbildet. Dafür sind in den meisten Fällen mehrere Projektoren nötig.

Es ist jedoch fast unmöglich, ein Bühnenbild zu erstellen, das keine physikalischen Abweichungen in der Positionierung der Projektionsflächen im Vergleich zum 3D-Modell aufweist. Dies gilt insbesondere für Tourneeproduktionen, bei denen das Set an jedem Veranstaltungsort abgebaut und wieder neu aufgebaut werden muss.

Das OmniCal-System besteht aus zwei oder mehr Bildverarbeitungskameras, die am Rigging montiert sind, um strukturierte Lichtmuster abzubilden, die dann auf das Set projiziert werden .

Da Betrachtungswinkel und Abstand der Kameras bekannte Größen sind, können mittels Triangulation die Koordinaten jedes Pixels im Bild berechnet werden, um daraus in der OmniCal-Kalibrierungssoftware eine 3D-Punktwolke zu errechnen. Darauf basierend können Korrekturen der Position und Ausrichtung von Projektoren und Projektionsflächen und Anpassungen an die tatsächliche Struktur der Flächen erfolgen, wodurch eine Subpixel-Genauigkeit erreicht wird. Fehler im 3D-Modell können so im großen Maßstab, aber auch im Millimeterbereich korrigiert werden.

 
Die disguise-Software beinhaltet zwar ein manuelles Kalibrierungssystem, das sehr gut funktioniert, Zeit ist jedoch ein kritischer Faktor während des Aufbaus einer Live-Show. Die Techniker, die an den Projektionen arbeiten, kämpfen mit einer Vielzahl von anderen Mitarbeitern um den Zugang zum Set. Die manuelle Kalibrierung von Projektoren und Oberflächen dauert in der Regel pro Projektor einige Minuten und je mehr Projektoren verwendet werden, desto mehr Mitarbeiter und Zeit werden dafür benötigt.

Das kamerabasierte OmniCal-System ist jedoch komplett skalierbar. Wir können Kalibrierungen in deutlich kürzerer Zeit durchführen, da die erzeugte Punktwolke für alle Projektoren verwendet werden kann, wodurch parallele Kalibrierungen möglich sind. Das OmniCal-System ermöglicht nicht nur eine qualitativ bessere Kalibrierung als ein manuell gesteuertes System, sondern bietet mit der Korrekturmöglichkeit von Unterschieden zwischen 3D-Modell und realer Oberfläche eine entscheidende zusätzliche Funktionalität.
Peter Kirkup, Global Technical Solutions Manager, disguise

Das perfekte Bild

Bei den Bildverarbeitungskomponenten für das OmniCal-System vertraute disguise ganz auf den Puchheimer Bildverarbeitungsspezialisten STEMMER IMAGING. Die Stereobildaufnahme zur Erzeugung von Punktwolken ist zwar eine Standardanwendung, für OmniCal gab es jedoch zusätzliche spezifische technische Anforderungen, die STEMMER IMAGING erfolgreich umsetzen konnte.

Die Kameras nehmen eine kurze Bildserie von strukturierten Lichtmustern auf, die auf die zu kalibrierende Umgebung projiziert werden. Um zu verhindern, dass Bereiche verdeckt werden, werden die Mustersequenzen von Projektoren an verschiedenen Positionen erzeugt.

Da OmniCal in den unterschiedlichsten Umgebungen eingesetzt wird, ist eine hochwertige und zuverlässige Optik in Bezug auf Brennweite und Verzeichnung unerlässlich. Da die Kamerapositionen je nach Einstellung variieren und in großer Entfernungen zum Steuerungssystem sein können, werden GigE-Vision Kameras eingesetzt.

Der GigE-Vision-Standard ermöglicht die Hochgeschwindigkeitsübertragung von Bilddaten in Echtzeit über Entfernungen von bis zu 100 Metern mit Standard-Ethernet-Cat-6-Kabeln. Die OmniCal-Systeme nutzen 5-Megapixel-GigE-Vision-Kameras von Allied Vision, die über die Power-over-Ethernet-(PoE)-Funktion direkt mit Strom versorgt werden und dadurch Daten und Strom in einem Kabel übertragen können was die Systemkonfiguration vereinfacht.

Die Kameras verfügen über einen leistungsstarken Sony Pregius CMOS-Sensor mit Global Shutter, der unerwünschtes Smearing beim Umschalten der Projektionsmuster unterdrückt.

Je nach Bühnenbereich wird eine Kombination aus C-Mount-Objektiven mit 6 mm, 8 mm und 12 mm Brennweite verwendet, welche zur Auflösung der Kameras passen und minimale und gleichmäßige Verzeichnung aufweisen. Bei der Auswahl der Objektive wurde auf einfache Handhabung und Zuverlässigkeit Wert gelegt, denn häufig werden die Kameras von ungeschultem Personal an nicht idealen Standorten in Theatern oder Stadien installiert.

cameras selected for OmniCal

Der Mehrwert von STEMMER IMAGING

Zunächst sollte STEMMER IMAGING nur die Kameras und Objektive liefern. Während der Vorauswahl und Beratung wurde disguise jedoch auf das umfangreiche Service-Angebot von STEMMER IMAGING aufmerksam.

Zusätzlich zur Vorkonfiguration und dem Test der Kamerasysteme gemäß Kundenanforderungen übernimmt STEMMER IMAGING den kompletten Logistikprozess und liefert die Systeme mit Kunden-Branding in robusten Flightcases direkt an Eventveranstalter in der ganzen Welt.

"Die Möglichkeit für uns, die anspruchsvolle Vorkonfiguration und das Testens der Komponenten gemäß unseren Anforderungen sowie den kompletten Lieferprozess des Equipments auszulagern, bringt uns einen erheblichen Mehrwert”, erklärt Ed Plowman, Chief Technology Officer bei disguise.

“Unsere Systeme werden weltweit eingesetzt und normalerweise ist während eines Set-ups die Zeit, die für die Kalibrierung zur Verfügung steht, sehr knapp. Wir müssen uns darauf verlassen können, dass jedes OmniCal-System identisch funktioniert, zumal die Installation oft von Mitarbeitern durchgeführt wird, die keine Bildverarbeitungsexperten sind.

Nach dem Anschließen der Kamera müssen vom Bediener nur die Kameraparameter wie Belichtungszeit und Brennweite auf das jeweilige Szenario angepasst werden. STEMMER IMAGING hat diese Anforderungen für uns umgesetzt, so dass sich die Techniker vor Ort ganz auf die Projektionsperformance konzentrieren können.

Ed Plowman, Chief Technology Officer bei disguise

In der Regel sind mindestens vier Kameras pro Installation erforderlich, nicht selten werden auch acht eingesetzt. Für spezielle Szenarios sind unter Umständen sogar noch mehr nötig.

"Angesichts einer solchen Bandbreite an Konfigurationen und eines Systemeinsatzes an den unterschiedlichsten Orten weltweit waren unsere Value-Added-Services für disguise entscheidend", kommentiert Mark Williamson, Managing Director von STEMMER IMAGING Ltd.

 
Wir übernehmen nicht nur die Vorkonfiguration der Kameras, sondern auch die Lagerhaltung der Kits mit einer Auswahl an Objektiven sowie das termingerechte Versenden der Systeme in flugtauglichen Schutzkoffern an Endanwender in aller Welt. Für bestimmte Projekte bieten wir auch maßgeschneiderte Kits mit der entsprechenden Anzahl von aufeinander abgestimmten Kameras und Objektiven an.
Mark Williamson, Managing Director von STEMMER IMAGING Ltd

Neukalibrierung nach einem Erdbeben

Vor besondere Herausforderungen stellte der Einsatz für die Aufführung des Apollo-11-Events im Rose Bowl im kalifornischen Pasadena das System, da während der Aufführung zwei Erdbeben der Stärke 6,4 und 7,1 auf der Richterskala auftraten. Nach der Show wurde testweise der OmniCal-Rig-Check erneut durchgeführt. Dabei mussten zwar einige der Ausrichtungspunkte angepasst werden, die Kalibrierung konnte jedoch problemlos wieder zurückgesetzt werden, obwohl sich durch die beiden Erdbeben alles, einschließlich der Projektoren, Kameras und Projektionsflächen massiv bewegt hatte. Schon die Erstkalibrierung für diese Veranstaltung war eine enorme Herausforderung.

Die 3D-Projektion musste auf die gesamte Innenfläche der Kuppel über dem Auditorium und auf zwei Zylinder, die die Saturn-V-Rakete bildeten, erfolgen. Bei dieser Vielzahl von Projektoren – sechzehn für die Kuppel und weitere sechs für die Zylinder – gelang die Kalibrierung mit OmniCal deutlich schneller als mit jeder anderen Methode.

Acht OmniCal-Kameras mit separaten Bildaufnahmeszenarien wurden für die Kalibrierung der Kuppel und der Zylinder eingesetzt. Eine weitere Herausforderung war das Design der Kuppel. Im ursprünglichen Entwurf, der als Grundlage für die 3D-Modellierung diente, war die Kuppel völlig glatt und ohne Nähte.

Im weiteren Verlauf des Designprozesses wurde die Kuppelkonstruktion dann zu einer Anordnung von quadratischen Paneelen, die an Abhängepunkten aufgehängt und einzeln gespannt wurden. Dadurch gab es in der Kuppel mehr Bewegungen als erwartet, sowohl aufgrund von Spannungsveränderungen als auch aufgrund von Temperatur- und Feuchtigkeitsschwankungen.

Hier erwies sich die neue modulare Struktur der Kuppel als Vorteil, die Neukonstruktion des 3D-Modells erfolgte einfach, indem grundlegende CSV-Daten mit Messungen der Ecken jedes Paneels durch ein Lasermessgerät auf einem Stativ von der Mitte der Bühne erfolgten die dann für die Rekonstruktion der realen Oberfläche verwendet wurden.

Der Vergleich der Mesh-Daten aus verschiedenen Teilen des Projekts zeigte, dass sich einige Punkte der Kuppel aufgrund von Temperaturänderungen über 30 cm verschoben hatten. Die regelmäßige Neukalibrierung, die erforderlich war, um diese Änderungen auszugleichen, wäre ohne OmniCal nicht möglich gewesen.

Eine vertrauensvolle Zusammenarbeit

STEMMER IMAGING und disguise arbeiten bereits seit 2016 sehr eng und vertrauensvoll zusammen.

 
Die Unterstützung von STEMMER IMAGING in den Bereichen Bildverarbeitung und Logistik ist von unschätzbarem Wert und hat dazu beigetragen, dass das OmniCal-System bei der Kalibrierung von 3D-Projektionen einen echten Unterschied macht. OmniCal berücktsichtigt die enorme Zeitknappheit bei der Produktion von Live-Events und ermöglicht die Realisierung von immer komplexeren Projektionen in einer Branche, die sich rasant und unaufhörlich weiterentwickelt.
Ed Plowman, Chief Technology Officer, disguise

Die Technologieplattform disguise bietet Kreativen und Technikern eine Lösung zur Realisierung von spektakulären visuellen Live-Erlebnissen auf höchstem Niveau.

Durch die Kombination von Software auf Basis von Echtzeit-3D-Visualisierung mit leistungsstarker Hardware ermöglicht disguise die zuverlässige Umsetzung anspruchsvoller kreativer Projekte in großem Maßstab. Mit seinem neuen preisgekrönten Extended Reality (xR) Workflow lassen sich immersive visuelle Erlebnisse in Szene setzen, die Zuschauer auf der ganzen Welt begeistern. disguise xR hat bereits immersive Echtzeitproduktionen für Popstars wie Katy Perry und Billie Eilish, Unternehmen wie SAP und Lenovo, Bildungseinrichtungen wie die University of Michigan, Fernsehsendungen wie die MTV Video Music Awards und America's Got Talent, Sportmarken wie Nike und Under Armour und viele andere virtuelle Erlebnisse in mehr als 35 Ländern realisiert.

Mit einem ständig wachsenden globalen Partnernetzwerk und der Zusammenarbeit mit den talentiertesten Visual Designern und Technikteams weltweit bei Live-Events, TV-Übertragungen, Filmen, Konzerttourneen, Theatern, Kunstinstallationen sowie Firmen- und Unterhaltungsevents entwickelt disguise die nächste Generation von kollaborativen Werkzeugen, mit denen Künstler und Techniker ihre Visionen umsetzen können.

Wünschen Sie Beratung?

Bei Fragen zu Ihren zukünftigen Projekten können Sie sich jederzeit an unsere Experten bei STEMMER IMAGING wenden. Selbstverständlich bieten wir Ihnen auch eine große Auswahl an Kameras, Optiken, Beleuchtungen und Software für Ihre individuelle Bildverarbeitungslösung.