Augmented Reality
Ein neuer Ansatz für Assistenzsysteme in der Produktion

Der Begriff „Augmented Reality“ (AR, Erweiterte Realität) bezeichnet die Anreicherung der visuellen Wahrnehmung durch die situationsgerechte Anzeige von computergenerierten Inhalten im Sichtfeld der Anwender sowie die Bereitstellung von Möglichkeiten zur echtzeitfähigen Interaktion mit diesen Inhalten.

Die Augmented Reality ist wie die Virtual Reality eine Mensch-Maschine-Schnittstelle. Während in Virtual-Reality-Systemen vollständig computergenerierte Umgebungen genutzt werden, in denen Anwender in Echtzeit interagieren können, wird die Umgebung der Nutzer mittels AR nur um einige virtuelle Elemente angereichert. Die Übergänge zwischen vollständig computergenerierten, mit virtuellen Informationen erweiterten und realen Umgebungen sind fließend [1]. 

Stationäre und mobile Augmented Reality 

Die rechnergenerierten Informationen, die durch ein AR-System mit der realen Umgebung verknüpft werden, können Anwendern auf verschiedenen Wegen präsentiert werden. Wichtige technische Komponenten einer AR-Umgebung sind das verwendete Trackingsystem sowie die Anzeigegeräte. Trackingsysteme dienen zur Bestimmung der Lage und Orientierung der Anwender und/oder interessierender Objekte in der Umgebung. Als Anzeigegeräte können u.a. herkömmliche stationäre Monitore, handgetragene PDAs oder kopfgetragene Optical-See-Through-Displays eingesetzt werden.

Sind die Komponenten eines AR-Systems am Nutzer mitführbar und frei beweglich, sodass die Ausführung der primären Arbeitsaufgaben nicht behindert wird, bezeichnet man dies als mobiles AR-System; andernfalls liegt ein stationäres AR-System vor. Während stationäre AR-Systeme in verschiedenen Bereichen schon produktiv eingesetzt werden, liegt bei mobilen AR-Systemen noch ein vergleichsweise hoher Forschungs- und Entwicklungsbedarf vor. 

Die AR-Technologie stellt seit einigen Jahren einen Forschungsschwerpunkt in der deutschen Industrie dar. Dies spiegelt sich in abgeschlossenen und aktuellen industriegetriebenen Verbundprojekten wider [2,3]. Der Einsatz der AR-Technologie fokussiert dabei auf die Bereiche Entwicklung, Produktion und Service für den Automobil- und Flugzeugbau sowie den Maschinen- und Anlagenbau. Die Integration der AR in die verschiedenen Produktlebensphasen wird u.a. in den aktuellen Forschungsprojekten „Angewandte virtuelle Technologien im Produkt und Produktionsmittel-Lebenszyklus“ (AVILUS) und „Angewandte virtuelle Technologien mit Langfristfokus im Produkt- und Produktionsmittel-Lebenszyklus“ (AVILUSplus) weiterentwickelt [4]. Im Rahmen dieser Projekte werden am Fraunhofer IFF AR-Lösungen für die Werkerassistenz entwickelt und untersucht. Exemplarisch soll im Folgenden auf aktuelle Fragestellungen in Forschung und Anwendung auf dem Gebiet stationärer und mobiler AR-Werkerassistenzsysteme eingegangen werden. 

Bild 1: Ausführungsbeispiel eines stationären Werkerassistenzsystems
für die Montage von Spannsystemen (Arbeitsplatz und
zwei Touch-Screens). Die Kameras befinden sich in 5 m Höhe.

Stationäre AR-basierte Werkerassistenz für die Montage 

Stationäre AR-Systeme stellen Montageprozesse dar, die an einem lokal begrenzten Arbeitsplatz durchgeführt werden. Als Referenz wurde ein System für den Sondermaschinenbau entwickelt, welches auf einfache und intuitive Weise Werkern hilft, Fehler bei sehr komplexen Montageprozessen zu vermeiden. Dabei werden komplexe Spannsysteme manuell montiert. In die Spannsysteme werden Rohteile zur automatischen Bearbeitung mit Mehrachs-CNC-Bearbeitungsmaschinen eingespannt. Die Spannsysteme zeichnen sich durch eine extrem hohe Variantenvielfalt aus und bestehen, je nach Aufbau, aus ca. 30 bis 80 Einzelteilen. Derzeit existieren in diesem Anwendungsszenario ca. 6.000 verschiedene Spannsystemkonfigurationen, deren Anzahl mit jeder Neuentwicklung entsprechend anwächst. Pro Tag und Arbeitsplatz werden etwa 70 verschiedene Spannsysteme montiert. Für alle Spannsysteme liegen 3-D-CAD-Daten vollständig vor. Bei der Montage ist es äußerst wichtig, dass alle Bauteile exakt an ihrer vorgegebenen Position montiert werden sowie das jeweils korrekte Bauteil verwendet wird. Ein falsch positioniertes Bauteil kann im weiteren Verlauf des Produktionsprozesses zu Kollisionen zwischen Spannsystem und Bearbeitungsmaschine führen, wodurch hohe Kosten durch Reparatur und Maschinenstillstand verursacht werden können. 

Das entwickelte stationäre AR-System (Bild 1) besteht aus mehreren Kameras, die auf den Arbeitsplatz ausgerichtet sind. Sie erzeugen eine Live-Darstellung der Montage, die auf berührungssensitiven Monitoren direkt vor dem Werker ausgegeben wird. 

Bild 2: Bildsequenz aus einem Montageschritt,
bei dem ein frei positionierbares Bauteil ausgerichtet wird.
Die AR-gestützte Überlagerung des zu montierenden Bauteils
ist als Kantenmodell über dem Kamerabild für drei Zeitpunkte dargestellt.

Das System liest die 3-D-CAD-Daten des zu montierenden Aufbaus sowie die festgelegte Montagereihenfolge ein. Während der Montage werden dann die 3-D-CAD-Daten eines jeden Arbeitsschritts über die Live-Bilder der Kamera an der vorgesehenen Position überblendet (Bild 2). Parallel wird dazu die Stückliste des aktuellen Arbeitsschritts in einfacher Tabellenform dargestellt. Hat der Werker einen Arbeitsschritt beendet, bestätigt er dies und das System schaltet zum nächsten Schritt. Es konnte festgestellt werden, dass die Fehlerrate bei der Montage innerhalb der ersten vier Wochen im 3-Schichtbetrieb auf Null gesunken ist. Die Montagezeit reduzierte sich um etwa 20 %. Nach Aussage der Werker ist dies vor allem in dem intuitiveren Platzieren der Bauteile begründet. Ein weiterer Vorteil der stationären AR-Lösung ist die hohe Überlagerungsgenauigkeit (weniger als 1 mm) von 3-D-CAD-Modell und realer Kameraszene. Diese Genauigkeit ist Grundvoraussetzung für eine AR-basierte visuelle Kontrolle des Montageergebnisses durch den Werker [5].

Nutzerbezogene Untersuchungen mobiler AR-Werkerassistenzsysteme 

Bisher sind trotz intensiver Forschungs- und Entwicklungsarbeiten kaum Anwendungen bekannt, die die mobile AR und deren Vorteile im produktiven Einsatz nutzen. Verschiedene Untersuchungen zeigen, dass die Gründe dafür überwiegend in nicht-technologischen Ursachen zu suchen sind. Dabei wird deutlich, dass die technologische Entwicklung bis dato überwiegend isoliert, d.h. meist ohne Berücksichtigung der Nutzer der Sys-teme, verlief. Dies gilt insbesondere, wenn das Arbeiten mit Unterstützung mobiler AR-Technologien über einen längeren Zeitraum betrachtet werden muss. Um die erfolgreiche Nutzung eines solchen AR-Systems sicherzustellen, müssen die Interaktionen zwischen dem Nutzer und dem System berücksichtigt werden. Die unzureichende Berücksichtigung nutzerbezogener Aspekte (Ergonomie und Akzeptanz der Gesamtsysteme sowie arbeitsmedizinische, wahrnehmungspsychologische und beanspruchungsphysiologische Faktoren bei der Langzeitnutzung) stellt eines der Haupthindernisse bei der Umsetzung der vorhandenen Nutzungspotenziale mobiler AR-basierter Werkerassistenzsysteme dar [6, 7]. Hierfür ist eine interdisziplinäre Zusammenarbeit von Experten der Bereiche Wahrnehmungspsychologie, Arbeitsmedizin, Arbeitswissenschaft sowie den technischen Bereichen der Informationstechnologie und Systemintegration erforderlich. Um einen Langzeiteinsatz mobiler AR-Technologien im industriellen Umfeld zu ermöglichen, müssen vorab psychologische und arbeitsmedizinische Faktoren untersucht werden. Dabei sollen Erkenntnisse über Langzeiteffekte gewonnen werden, um durch die Auslegung solcher Assistenzsysteme die Beanspruchung des Werkers minimieren zu können. 

Bild 3: Referenzarbeitsplatz für Langzeituntersuchungen
von mobilen AR-Systemen.

Am Fraunhofer IFF wurde ein Referenzarbeitsplatz entworfen [8], welcher für solche Langzeituntersuchungen eingesetzt wird. An diesem Arbeitsplatz können unter reproduzierbaren Bedingungen verschiedene AR-Systeme, ‑Methoden und ‑Technologien im Langzeiteinsatz (derzeit bis zu 4 Stunden kontinuierliche Nutzungsdauer) untersucht und verglichen werden. Für die Gestaltung des Arbeitsplatzes wurde sich an einem industriellen Kommissioniersystem orientiert, bei welchem die Kommissionierer auftragsbezogen Teile aus dem Lager entnehmen und in einem Warenkorb zusammenstellen (Bild 3). Dieses Szenarium wurde u.a. gewählt, da hierbei das Arbeitsergebnis sehr gut quantifiziert werden kann (Anzahl richtig/falsch entnommener Teile). Die Optimierung der Kommissionierung ist nicht das primäre Ziel der Untersuchungen. Die Kommissionieraufträge werden auf zwei Arten dargeboten: Einerseits steht der vollständige Auftrag auf einer Papierliste, was der herkömmlichen Arbeitsweise entspricht. Andererseits wird der auszuführende Auftrag auf einem mobilen AR-System mit Head-Mounted-Display als Kombination aus Text und Hinweisobjekten angezeigt (Bild 4).

In einem Probandentest wurde bei 20 männlichen, freiwillig teilnehmenden und klinisch gesunden Personen die objektive Beanspruchung ermittelt. Zur Bestimmung der Herzaktionen als Basisdaten zur Erfassung der objektiven Beanspruchung diente ein digitaler Langzeit-EKG-Rekorder, den die Probanden mitführten. Die Herzratenvariabilität wurde anschließend aus der Folge der abgespeicherten Herzaktionen im Institut für Arbeitsmedizin der Medizinischen Fakultät der Otto-von-Guericke Universität Magdeburg bestimmt und analysiert. Gleichzeitig wurde die Arbeitsleistung (Anzahl der Arbeitsschritte pro Zeit, Kommissionierfehler pro Auftrag) erfasst und ausgewertet. Es wurden bezüglich der Nutzerbeanspruchung keine signifikanten Unterschiede zwischen beiden Varianten (AR-System und Papierliste) ermittelt. Damit konnte die Arbeitshypothese widerlegt werden, dass die Nutzerbeanspruchung durch das AR-System höher als bei der herkömmlichen Arbeitsweise ist. Es kann davon ausgegangen werden, dass die weitere Optimierung des AR-Systems insbesondere bezüglich einer ergonomischeren Display-Einheit sowie einer situationsgerechten Visualisierung zur Verringerung der Beanspruchung führen wird. Unter Nutzung von AR wurde die Anzahl der falsch kommissionierten Teile im Durchschnitt um 1/3 reduziert sowie die Anzahl der Teile um 20 % erhöht. Das zeigt das Potenzial von AR zur Erhöhung der Arbeitsqualität und zur Zeiteinsparung auf. Weitere Arbeiten zur Optimierung des mobilen AR-Systems sowie zur detaillierteren Auswertung der Probandenversuche sind geplant.

Bild 4: Nutzersicht durch ein Head-Mounted-Display:
Navigation am Referenzarbeitsbereich durch Tunnelvisualisierung
(links) und Anzeige der Entnahmestelle durch überlagertes Rechteck (rechts).

Ausblick 

Die AR-Technologie ermöglicht es, Werker bei komplexen manuellen Tätigkeiten über die situationsgerechte Einblendung von Informationen zum Arbeitsprozess zu unterstützen. Somit wird diese Technologie wesentlich dazu beitragen können, den steigenden Anforderungen im Produktionsprozess Rechnung zu tragen. Bei den mobilen AR-Systemen sind für einen produktiven Einsatz entsprechende industrietaugliche Hardwarekomponenten (u.a. Displays, Rechnerkomponenten) erforderlich, die unter ergonomischen Gesichtspunkten nutzerzentriert zu gestalten sind. Die in diesem Beitrag beschriebenen nutzerbezogenen Untersuchungen mobiler AR-Werker-
assistenzsysteme liefern Aussagen zu deren ergonomischen Gestaltung mit dem Ziel, die Nutzerakzeptanz zu erhöhen. Weiterhin wird aktuell erforscht, inwieweit sich die bereits vorhandenen 3-D-CAD-Daten und die sehr genaue Kalibrierung des stationären AR-Sys-tems nutzen lassen, um eine begleitende Montageüberprüfung mittels automatisch arbeitender Bildverarbeitungsverfahren durchzuführen. Diese Prüffunktionalität stellt einen wichtigen Meilenstein in der Werkerassistenz dar, da sie eine direkte Rückmeldung des jeweiligen Montageergebnisses an den Werker ermöglicht. 

Die Arbeiten zur vorgestellten Thematik wurden teilweise vom Bundesministerium für Bildung und Forschung (Fkz. 01IM08002A und Fkz. 01IM08001L) gefördert. 

Schlüsselwörter:

Literatur:

[1] Milgram, P.; Kishino, F.: A Taxonomy of Mixed Reality Visual Displays. In: IEICE Transactions on Information and Systems (Special Issue on Networked Reality). 1994.
[2] Friedrich, W.: ARVIKA Augmented Reality für Entwicklung, Produktion und Service. Erlangen 2004.
[3] Schreiber, W.: Angewandte virtuelle Technologien im Produkt- und
Produktionsmittellebenszyklus AVILUS. In: Tagungsband der 11. IFF Wissenschaftstage: Virtual Reality und Augmented Reality zum Planen, Testen und Betreiben technischer Systeme. VR und AR Automotive, 2008, S. 133–140.
[4] Schenk, M.; Schumann, M.; Schreiber, W.: Die Innovationsallianz Virtuelle Techniken – ein Beitrag zum Virtual Engineering am Standort Deutschland. In: Tagungsband des 8. Paderborner Workshop Augmented &Virtual Reality in der Produktentstehung, HNI-Schriftenreihe Produktentstehung, Band 252, 2009, S. 17–30.
[5] Sauer, S.; Tümler, J.: Ein Assistenzsystem zur Verbesserung von Montageprozessen. In: Forschung vernetzen - Innovationen beschleunigen, wissenschaftliches Kolloquium, Fraunhofer IFF Magdeburg 2007.
[6] Tang, A.; Owen, C.; Biocca, F.; Mou, W.: Performance evaluation of augmented reality for directed assembly. In: Ong, S. K.; Nee, A. Y. C. (Hrsg): Virtual and augmented reality applications in manufacturing, Berlin 2004, S. 301–322.
[7] Fritzsche, L.: Eignung von Augmented Reality für den Vollschichteinsatz in der Automobilproduktion - Eine Laboruntersuchung zur psychischen Belastung und Beanspruchung bei der Arbeit mit einem monokularen Head Mounted Display. Diplomarbeit, Technische Universität Dresden, Fakultät Mathematik und Naturwissenschaften. 2006.
[8] Tümler, J.; Mecke, R.: Mobile Augmented Reality für die Werkerassistenz. In: Forschung vernetzen – Innovationen beschleunigen, wissenschaftliches Kolloquium, Fraunhofer IFF Magdeburg. 2006. S. 40–50.