Mit Künstlicher Intelligenz auf Bildersuche

Computer-Vision-Experten des Fraunhofer IPK haben im Auftrag des Landschaftsverbandes Rheinland den Einsatz von KI-basierten Bildsuchverfahren in der Provenienzforschung erforscht. Am Beispiel der »German Sales«- Datenbank zeigen sie, wie Kunstobjekte in Auktionskatalogen automatisiert identifiziert werden können, um die Geschichte ihrer Herkunft zu rekonstruieren.

Auktionskataloge sind für Kunsthistorikerinnen und Provenienzforscher eine wichtige Quelle. Sie dokumentieren, woher ein Kunstwerk stammt, wem es einst gehörte und in wessen Besitz es oft über mehrere Jahrhunderte hinweg wechselte. Mit »German Sales« bieten u. a. die Universitätsbibliothek Heidelberg, die Kunstbibliothek der Staatlichen Museen zu Berlin sowie das Getty Research Institute in Los Angeles eine Datenbank an, die Informationen zum historischen Kunstmarkt in Deutschland, Österreich und der Schweiz digital erfasst und zentral sammelt. Rund 11 000 Auktionskataloge sowie Galerie-, Lager- und Antiquariatskataloge sind hier online sowie im Open Access verfügbar. Doch damit nicht genug: »Eine automatisierte Identifizierung von Kulturgütern bzw. Kunstobjekten in Online-Katalogen würde es vereinfachen, Aufenthaltsorte von Objekten zu bestimmten Zeiten sowie hinterlegte Daten in den Publikationen recherchierbar zu machen und auf diese Weise wertvolle Informationen zu Besitzerinnen und Besitzern zu erhalten,« sagt Guido Kohlenbach, Fachbereichsleiter im Kulturdezernat des Landschaftsverbandes Rheinland.

Im Rahmen einer Machbarkeitsstudie haben deshalb Wissenschaftlerinnen und Wissenschaftler des Fraunhofer-Instituts für Produktionsanlagen und Konstruktionstechnik IPK untersucht, inwiefern moderne Computer-Vision-Verfahren bei der Recherche von Kunstobjekten in digitalen Auktionskatalogen helfen können. Dafür entwickelten sie KI-basierte Bildsuchverfahren, die den zuverlässigen Abgleich von Bildern bzw. Kunstobjekten ermöglichen. Validiert wurden die Verfahren anhand von Bildpaaren, die jeweils Treffer zwischen Auktionskatalogen und anderen digitalen Bildsammlungen darstellen. Dabei standen die Forscher vor der Herausforderung, dass Abbildungen ein und dessel-ben Kunstobjekts je nach Aufnahmedatum und -technik, Bildqualität, Perspektive oder auch der Objektart selbst (2D oder 3D) zum Teil stark variieren.

Die Aufbereitung und Qualitätssicherung der Bilddaten spielte deshalb eine zentrale Rolle im Projekt. Das beginnt bereits bei der Extraktion der Abbildungen aus den über 9100 Auktionskatalogen der »German Sales«-Datenbank. »Aufgrund der vielen Bildmengen wäre eine rein händische Bearbeitung sehr aufwändig und teuer,« erläutert Raúl Vicente-García, Projektleiter am Fraunhofer IPK. »Deshalb setzen wir modernste Computer-Vision-Methoden ein, die sich bereits bei der automatisierten Analyse und Segmentierung von Dokumenten bewährt haben, und passen sie mittels KI an die Besonderheiten von historischen Bildaufnahmen an.«

Die Ergebnisse der Machbarkeitsstudie sind vielversprechend: Rund 560.000 Abbildungen von Gemälden und Skulpturen, aber auch Alltagsgegenstände wie Möbel oder Besteck können mit den Fraunhofer-Verfahren in wenigen Sekunden durchsucht werden. Dabei werden für jedes einzelne Objekt KI-basierte Bildmerkmale erhoben, um eine hohe Erkennungsrate trotz der hohen Variabilität in Art und Qualität der Aufnahmen zu erzielen. Die Bildeigenschaften, die auf unterschiedlichen Skalen automatisch analysiert werden, reichen von Konturen und Texturen bis hin zu Objektdetails wie dem Auge einer abgebildeten Person. Dank der Adaptionsfähigkeit der KI-basierten Verfahren gelingt dabei auch ein Abgleich zwischen aktuellen und historischen Bildaufnahmen, die eine wesentlich niedrigere Bildqualität aufweisen.

Die Machbarkeitsstudie stellt damit unter Beweis, dass KI-basierte Bildsuchverfahren auch für die Provenienzforschung geeignet sind. Die Kulturdezernentin des Landschaftsverbandes Rheinland, Milena Karabaic, betont anlässlich des erfolgreichen Abschlusses der Studie die nach wie vor große ethische wie moralische Verantwortung für eine proaktive Provenienzforschung: »Zu den zentralen Aufgaben des Landschaftsverbandes Rheinland zählt es, Kulturgut zu bewahren, zu erforschen und der Öffentlichkeit zugänglich zu machen. Dies gilt in besonderem Maße für den Bereich der Provenienzforschung. Mit der „Gemeinsamen Erklärung“ der Bundesregierung, der Länder und der kommunalen Spitzenverbände im Jahr 1999 hat sich auch Deutschland dazu verpflichtet, NS-verfolgungsbedingt entzogenes Kulturgut aufzufinden und an die rechtmäßigen Besitzerinnen und Besitzer zurückzugeben.« Die zukünftige Entwicklung einer prototypischen Softwarelösung zur Unterstützung von Provenienzforschenden könnte dazu beitragen.

Die Machbarkeitsstudie zum Einsatz von KI-basierten Bildsuchverfahren für die Provenienz­forschung wurde vom Fraunhofer IPK im Auftrag des Landschaftsverbandes Rheinland und mit Unterstützung der Universitätsbibliothek Heidelberg sowie des Arbeitskreises Provenienzforschung e. V. durchgeführt.

Mithilfe KI-basierter Verfahren können aktuelle und historische Aufnahmen von Kunstobjekten miteinander verglichen werden. Bild links: Public Domain, The Metropolitan Museum of Art; Bild rechts: German Sales, Universitätsbibliothek Heidelberg.