Forschungsergebnisse, Wissenschaftliche Publikationen

Tübingen/Stuttgart, 24.02.2022 – In einer Publikation im Fachjournal Nature Machine Intelligence stellt ein Team von Wissenschaftler:innen des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) einen robusten, weichen und haptischen Sensor namens „Insight“ vor. Mit Hilfe von Maschinellem Sehen und einem tiefen neuronalen Netzwerk kann der Sensor genau abschätzen, an welcher Stelle Objekte mit ihm in Kontakt kommen und wie groß die einwirkenden Kräfte sind. Das Forschungsprojekt ist ein wichtiger Schritt hin zu Robotern, die wie Menschen und Tiere ihre Umgebung ertasten können. Wie sein natürliches Vorbild ist der Sensor sehr empfindlich, robust und präzise.

Der einem Daumen nachempfundene Sensor besteht aus einer weichen Hülle, die ein leichtes, steifes Skelett in sich einschließt. Dieses Skelett hält die Struktur aufrecht, ähnlich wie Knochen das weiche Gewebe eines Fingers stabilisieren. Die Hülle besteht aus einem Elastomer, das mit dunklen, aber reflektierenden Aluminiumflocken angemischt wurde. Dadurch bekommt die Hülle eine gräuliche Farbe und ist undurchsichtig, so dass kein Licht von außen eindringen kann. Im Inneren dieser fingergroßen Kapsel ist eine winzige 160-Grad-Fischaugenkamera eingebaut. Sie nimmt bunte Lichtmuster auf, die von einem Ring aus LEDs erzeugt werden.

Wenn ein oder mehrere Objekte die Sensorhülle berühren, ändert sich das Farbmuster im Inneren des Sensors. Die Kamera nimmt mehrmals pro Sekunde Bilder auf und füttert mit diesen Daten ein tiefes neuronales Netz. Dem Algorithmus entgeht nichts: in jedem Pixel erkennt er selbst kleinste Veränderung des Lichts. Innerhalb eines Sekundenbruchteils kann das trainierte Modell herausfinden, wo genau ein Objekt den „Finger“ berührt, wie stark die Kräfte sind und in welche Richtung sie wirken. Das Modell leitet daraus das ab, was Wissenschaftler:innen eine force map nennen: ein dreidimensionales Abbild der Kräfte, die auf den künstlichen Daumen einwirken.

Abbildung 1 veranschaulicht den Sensor, das erzeugte bunte Kamerabild und die Berechnung des tiefen neuronalen Netzes: wo genau fand eine Berührung statt, mit welcher Kraft und in welche Richtung über die Oberfläche hinweg fand die Berührung statt. Auch ein Video (https://www.youtube.com/watch?v=lTAJwcZopAA) veranschaulicht die Funktionsweise des Sensors.

„Unser Sensor zeigt eine hervorragende Leistung dank des innovativen mechanischen Designs der Hülle, des maßgeschneiderten Bildgebungssystems im Inneren, der automatischen Datenerfassung und dank modernster Deep Learning Methoden“, sagt Georg Martius, Forschungsgruppenleiter am MPI-IS. Dort leitet er die Autonomous Learning Group. Sein Doktorand Huanbo Sun ergänzt: „Unsere einzigartige Hybridstruktur aus einer weichen Schale, die ein steifes Skelett umschließt, sorgt für hohe Empfindlichkeit und Robustheit. Unsere Kamera kann selbst die kleinsten Verformungen der Oberfläche mit einem einzigen Bild erkennen.“ Tatsächlich stellten die Forscher beim Testen des Sensors fest, dass er empfindlich genug ist, um seine eigene Orientierung im Verhältnis zur Schwerkraft zu spüren.

Das dritte Mitglied des Teams ist Katherine J. Kuchenbecker, Direktorin der Abteilung für Haptische Intelligenz am MPI-IS. Sie bestätigt, dass der neue Sensor nützlich sein wird: „Bisherige weiche haptische Sensoren hatten nur einen kleinen Bereich, in dem sie Dinge erfassen konnten. Sie waren empfindlich und schwierig herzustellen und konnten oft keine Kräfte spüren, die parallel zur Haut verlaufen. Das aber ist für einen Roboter, der ein Glas Wasser hält oder auf einem Tisch eine Münze verschiebt, unerlässlich."

Doch wie kann ein Sensor lernen, was ihn berührt? Huanbo Sun entwarf einen Versuchsaufbau, um Trainingsdaten zu sammeln. Diese Daten benötigt das maschinelle Lernverfahren, um die Korrelation zwischen der Veränderung der Bildpixel und den angewandten Kräften zu verstehen. Ein Stab stupst den Sensor überall auf seiner Oberfläche, der Computer wiederum zeichnet die Krafteinwirkung zusammen mit dem Kamerabild im Inneren des Sensors auf. Auf diese Weise erzeugten die Forscher etwa 200.000 Messungen. Es dauerte fast drei Wochen, um die Daten zu sammeln und einen weiteren Tag, um den Deep Learning Algorithmus zu trainieren. Der Daumen überstand dieses lange Experiment mit vielen verschiedenen Krafteinwirkungen – ein Beleg für die Robustheit des mechanischen Designs von Insight.

Eine weitere Besonderheit des daumenförmigen Sensors ist, dass es einen Bereich mit einer dünneren Elastomerschicht gibt, die einem Fingernagel nachempfunden ist. Dieses Grübchen ist so konzipiert, dass es selbst kleinste Kräfte und verschiedene Objektformen erkennen kann. Für diese sehr empfindliche Zone wählten die Wissenschaftler:innen eine Elastomerdicke von 1,2 mm statt der 4 mm, die sie ansonsten für den Fingersensor verwendeten.

„Das Hard- und Softwaredesign, das wir in unserer Arbeit vorstellen, lässt sich auf eine Vielzahl von Anwendungsfällen mit unterschiedlichen Formen und Präzisionsanforderungen übertragen. Die Programmierung des Deep Learning Algorithmus, die Datenerfassung, das Training und was das System daraus ableitet sind allgemeingültig und können helfen, viele andere Sensoren zu entwickeln“, schließt Huanbo Sun ab.

---

Wissenschaftlicher Ansprechpartner:
Dr. Georg Martius
Leiter der Autonomous Learning Gruppe
Max-Planck-Institut für Intelligente Systeme in Tübingen

georg.martius@tuebingen.mpg.de

---

Originalpublikation:
https://arxiv.org/abs/2111.05934

---

Weitere Informationen:
https://is.mpg.de/de/news/fingertip-sensitivity-for-robots
https://www.youtube.com/watch?v=lTAJwcZopAA