Fraunhofer-Institut für Produktionsanlagen und Konstruktionstechnik
Zum Ersten, zum Zweiten, zum Dritten – gefunden!
Mithilfe KI-basierter Verfahren können aktuelle und historische Aufnahmen von Kunstobjekten miteinander verglichen werden. Hier: Bodhisattva Mahasthamaprapta, (Dashizhi) 13. Jahrhundert.
(links) Public Domain,
The Metropolitan
Museum of Art;
(rechts) German Sales,
Universitätsbibliothek
Heidelberg.
Will man den Kunstmarkt der ersten Hälfte des 20. Jahrhunderts erforschen, kommt man an Auktionskatalogen nicht vorbei. Vor allem für die Provenienzforschung sind sie ein unverzichtbares Recherchemittel: Sie dokumentieren, woher ein Kunstwerk stammt, wem es einst gehörte und in wessen Besitz es oft über mehrere Jahrhunderte hinweg wechselte. Mit »German Sales« wächst seit rund zehn Jahren eine Datenbank heran, die Informationen zum historischen Kunstmarkt in Deutschland, Österreich und der Schweiz digital erfasst und zentral sammelt. Auftakt dafür war ein Kooperationsprojekt der Universitätsbibliothek Heidelberg, der Kunstbibliothek der Staatlichen Museen zu Berlin sowie des Getty Research Institute in Los Angeles. Mittlerweile sind hier rund 11 000 Auktionskataloge sowie Galerie-, Lager- und Antiquariatskataloge online sowie im Open Access verfügbar.
Im Auftrag des Landschaftsverbandes Rheinland (LVR) haben jetzt Wissenschaftlerinnen und Wissenschaftler des Fraunhofer IPK untersucht, inwiefern moderne Computer-Vision-Verfahren bei der Recherche von Kunstobjekten in solchen digitalen Auktionskatalogen helfen können. Denn, so Guido Kohlenbach, Fachbereichsleiter im Kulturdezernat des LVR: »Eine automatisierte Identifizierung von Kulturgütern bzw. Kunstobjekten in Online-Katalogen würde es vereinfachen, Aufenthaltsorte von Objekten zu bestimmten Zeiten sowie hinterlegte Daten in den Publikationen recherchierbar zu machen und auf diese Weise wertvolle Informationen zu Besitzerinnen und Besitzern zu erhalten.«
Im Rahmen einer Machbarkeitsstudie entwickelten die Fraunhofer-Forscher dafür KI-basierte Bildsuchverfahren, die den zuverlässigen Abgleich von Bildern bzw. Kunstobjekten ermöglichen. Validiert wurden die Verfahren anhand von Bildpaaren, die jeweils Treffer zwischen Auktionskatalogen und anderen digitalen Bildsammlungen darstellen. Dabei standen die Wissenschaftler vor der Herausforderung, dass Abbildungen ein und desselben Kunstobjekts je nach Aufnahmedatum und -technik, Bildqualität, Perspektive oder auch der Objektart selbst (2D oder 3D) zum Teil stark variieren.
Die Aufbereitung und Qualitätssicherung der Bilddaten spielte deshalb eine zentrale Rolle im Projekt. Das beginnt bereits bei der Extraktion der Abbildungen aus den über 11 000 Auktionskatalogen der »German Sales«-Datenbank. »Aufgrund der vielen Bildmengen wäre eine rein händische Bearbeitung sehr aufwendig und teuer,« erläutert Raúl Vicente-García, KI-Experte und Projektleiter am Fraunhofer IPK. »Deshalb setzen wir modernste Computer-Vision-Methoden ein, die sich bereits bei der automatisierten Analyse und Segmentierung von Dokumenten bewährt haben, und passen sie mittels KI an die Besonderheiten von historischen Bildaufnahmen an.«
Automatischer Abgleichprozess zweier Abbildungen desselben Objekts im Detail. Hier: Deckelvase, Cornelius Funcke, um 1710
Aus einer Datenbank von fast 600 000 Objekten werden die zur Anfrage passenden Objekte automatisiert ausgegeben.
Die Ergebnisse der Machbarkeitsstudie sind vielversprechend: Rund 560 000 Abbildungen von Gemälden und Skulpturen, kunstgewerblichen Artikeln, aber auch Alltagsgegenständen wie Möbel oder Besteck können mit den Fraunhofer-Verfahren in wenigen Sekunden durchsucht werden. Dabei werden für jedes einzelne Objekt KI-basierte Bildmerkmale erhoben, um eine hohe Erkennungsrate trotz der hohen Variabilität in Art und Qualität der Aufnahmen zu erzielen. Die Bildeigenschaften, die auf unterschiedlichen Skalen automatisch analysiert werden, reichen von Konturen und Texturen bis hin zu Objektdetails wie dem Auge einer abgebildeten Person. Dank der Adaptionsfähigkeit der KI-basierten Verfahren gelingt dabei auch ein Abgleich zwischen aktuellen und historischen Bildaufnahmen, die eine wesentlich niedrigere Bildqualität aufweisen.
Die Fraunhofer-Experten stellen mit ihrer Machbarkeitsstudie unter Beweis, dass KI-basierte Bildsuchverfahren auch für die Provenienzforschung geeignet sind. Für den nächsten Schritt, die Entwicklung einer prototypischen Softwarelösung, suchen die Wissenschaftler derzeit nach Museen, Stiftungen und Bibliotheken, die die Herkunft und Besitzgeschichte ihrer Kulturgüter effizienter recherchieren und dokumentieren möchten.
Ergebnisse der automatischen Segmentierung einer Seite aus einem Auktionskatalog