Die IDS Imaging Development Systems GmbH ist ein Hersteller für digitale Industriekameras. Sie bietet 2D- und 3D-Kameras sowie Services an, um Kunden die Bildverarbeitung zu vereinfachen. Immer mehr Kunden suchen nicht länger „nur“ bildverarbeitende Kameras, vielmehr wünschen sie sich flexible Komplettlösungen, die einfach zu bedienen sind. Damit IDS tief in die kundenindividuelle Applikation einsteigen kann, arbeitet sie auch mit Partnern zusammen. Dazu gehören unter anderem Spezialisten wie die urobots GmbH – ein Softwareentwickler, der sich auf „maschinelles Lernen“ und Bildverarbeitung für die Qualitäts- und Montagekontrolle spezialisiert hat.
Die Herausforderung: Die Fehlerkontrolle im Durcheinander
Stellen Sie sich die Fertigung von Dichtringen vor, einem typischen Maschinenbauprodukt. Nach der Fertigung fallen die Dichtringe auf ein Fließband und werden zur Qualitätskontrolle befördert. Sie fallen zufällig und liegen dadurch sehr unterschiedlich auf dem Band: Einer liegt flach, ein anderer hochkant, wieder andere überlagern sich. In diesem Durcheinander muss jemand die Dichtringe auf Qualitätsschwächen wie Grate oder Risse untersuchen. Für einen Menschen dank seiner Intuition kein Problem, für einen Roboter auch nicht, wenn ihm denn die Sehkraft und das Wissen des Menschen verliehen worden sind. Mit klassischer Programmierung lässt sich das kaum lösen; eine künstliche Intelligenz ist notwendig.
Kürzlich sollte die urobots GmbH einen Pick-and-Place-Roboter mit solchen Fähigkeiten ausstatten. Zuvor hatte sie bereits eine PC-basierte künstliche Intelligenz entwickelt, die Objekte visuell erfassen kann; doch in diesem Fall war eine Cloud-basierte Lösung gewünscht, um flexibel auf Veränderungen wie Objektgrößen reagieren zu können. Dabei griff sie auf die Unterstützung von IDS zurück. Das bestehende Modell für die künstliche Intelligenz, das die Position und die Orientierung der Objekte auf den Bildern erkennt, musste auf die IDS NXT Plattform portiert werden. Dabei handelt es sich um ein kompaktes Embedded-Vision-System, das es erlaubt, neuronale Netze direkt auf Industriekameras auszuführen. Zwei Herausforderungen ergaben sich:
- Die konventionelle Lösung läuft auf der Grafikkarte des PCs, auf der sogenannten Graphics Processing Unit (GPU). Hingegen wird die Cloud-basierte Lösung direkt auf der Kamera ausgeführt, was mit einer anderen Technik geschieht: dem Field Programmable Gate Array (FPGA). Die künstliche Intelligenz musste angepasst und mit einem Tool in ein FPGA-Modell umgewandelt werden.
- Die Software kommuniziert mit dem Roboter, indem sie 2D- in 3D-Koordinaten umwandelt. Sie ist in der Programmiersprache Python geschrieben, während für die IDS NXT-App (damit wird die Kamera gesteuert) ein Code in C++ erforderlich ist.
Die Lösung: Intelligente Robotik-Applikation dank „gelabelter“ Bilder
Dank der Erfahrung der Firma urobots mit dem IDS NXT System wurde in wenigen Wochen eine intelligente Robotik-Applikation erarbeitet. Der FPGA der IDS NXT Embedded Vision Plattform verfügt über einen speziell von IDS entwickelten KI-Core („deep ocean core“), der neuronale Netze hardwarebeschleunigt ausführt, wodurch die KI-Anwendung von urobots direkt auf der Kamera ausgeführt werden kann. IDS stellt Kunden zwei Wege zur Verfügung, um ein neuronales Netz auf die Kameras zu bringen:
Einerseits kann ein neuronales Netz direkt über die Cloud-basierte Softwarelösung IDS NXT lighthouse „trainiert“ werden. Hierfür benötigen Kunden kein KI-Wissen; sie müssen nur passende Bilder hochladen, dann labeln und anschließend auf Knopfdruck das vollautomatische Training starten. Da alle Werkzeuge und Workflows genau aufeinander abgestimmt sind, ist der Prozess einfach und ohne Fachwissen möglich. Andererseits können die Kunden auch ihre eigenen, mit TensorFlow Backend trainierten neuronalen Netze auf die offene Plattform hochladen. IDS stellt für die Konvertierung auf Anfrage spezielle Werkzeuge zur Verfügung. In beiden Fällen läuft das neuronale Netz dann auf der Kamera und befähigt sie dazu, bestimmte Informationen zu erzeugen oder Befehle weiterzugeben. Für die Lösung von urobots kam es vor allem auf zwei Dinge an:
- Ein neuronales Netz und eine IDS NXT Kamera, um die Objekte lagerichtig zu detektieren
- Einen Roboter, welcher die Objekte auf Basis der Bildinformationen selbständig greift und ablegt
Das Ergebnis: PC-loses System macht Industrie-PC überflüssig
Durch diese smarte Lösung sind die Kompetenzen klar verteilt, denn der Kunde richtet seine Aufmerksamkeit auf sein Produkt, während sich IDS und urobots auf den KI-Algorithmus der Bildverarbeitung konzentrieren. Ein zusätzlicher Vorteil: Durch die Ethernet-basierte Kommunikation und die offene IDS NXT-Plattform kann diese App auch an andere Robotermodelle adaptiert werden.
Der KI liegen monotone Arbeiten wie die Teilesortierung besser als dem Menschen. Sie macht keine Pausen, arbeitet nahezu fehlerfrei und ist somit effizienter. Die Genauigkeit der Applikation beträgt 99,9 %. Hierdurch können Hersteller ihre Reklamationskosten senken, was ihre Kunden zufriedener macht. Statt den monotonen Aufgaben können sich Mitarbeiter „intelligenteren“ Aufgaben widmen, bei denen sie dem Roboter überlegen sind. Den üblicherweise benötigten PC macht die IDS NXT-Kamera dank FPGA obsolet, wodurch der Workflow beschleunigt und der Energieverbrauch gesenkt wird; außerdem entfallen die Anschaffungskosten des PCs. Zu guter Letzt können Hersteller auf ein Expertenteam für die Bildverarbeitung verzichten.
Dieser Use Case beschränkt sich nicht auf die Sortierung von Dichtringen, denn er ist leicht auf andere Anwendungen übertragbar. Sei es das Erkennen von Fremdstoffen im Kompost, die Werkzeugsortierung oder die korrekte Ausrichtung von Peperoni auf einer reichhaltig belegten Pizza – eine intelligente Kamera kann hierbei ihren Dienst erweisen.
