Automatische Sacherschließung mit Annif: Erfahrungen aus der Vorbereitung für Erschließung spanischsprachiger E-Books

Von M. Xenia Kudela, SUB Hamburg.

Annif Wordcloud

Die Erschließung von Neuerwerbungen gehört zu den zentralen Aufgaben der Fachreferate an Bibliotheken; ohne sie wären Auffindbarkeit und inhaltliche Zuordnung der Medien nicht möglich. Die manuelle Bewältigung dieser Aufgabe ist jedoch ressourcen- und zeitintensiv. Dabei gibt es längst Technologien, die deren Automatisierung erlauben und die Effizienz erheblich steigern könnten. Dazu zählt Annif, ein auf maschinellem Lernen basierendes Tool, das anhand von Titeln, Inhaltsverzeichnissen oder Volltexten Schlagwörter generiert.

Logo ANNIF Annif ist ein Open-Source-Toolkit der Finnischen Nationalbibliothek. Es kombiniert lexikalische Backends (z. B. MLLM, das Texte per String-Matching gegen das Vokabular abgleicht) mit assoziativen Backends (z. B. Omikuji, fastText), die aus bereits erschlossenen Dokumenten lernen. Die Backends lassen sich zu Ensembles zusammenschalten, deren Gewichtung per Parameteroptimierung bestimmt wird.

An der SUB Hamburg bereiten wir Annif für die Erschließung von E-Books in romanischen Sprachen vor, zunächst Spanisch und Portugiesisch, später ggf. Galicisch und Ladino. Für Spanisch haben wir einen Datensatz aus rund 100 000 Titeln (plus Untertiteln, wo vorhanden) mit GND-Erschließung aufgebaut. Er ist aufgeteilt in ca. 80 000 Trainings-, 12 000 Test- und 6 000 Validierungsdokumente, wobei Test- und Validierungsset unseren Goldstandard bilden. Eine zweite Iteration soll mit ca. 50 000 Inhaltsverzeichnissen trainiert werden.

Auf dem Weg zu einem funktionierenden Modell sind wir auf drei Herausforderungen gestoßen, die sowohl den Aufbau des Datensatzes als auch die spätere Evaluation betreffen.

1. Menge vs. Qualität.
Unsere ursprüngliche Idee war, ausschließlich FID-bezogene, spanischsprachige Titel zu verwenden, da deren Erschließungsqualität gesichert ist. Mit rund 18 000 Einträgen ist diese Menge für maschinelles Lernen jedoch zu klein. Wir haben deshalb alle spanischsprachigen Titel des K10plus heruntergeladen (ca. 2 Millionen) und auf GND– und BK-erschlossene Titel ohne Dubletten eingeschränkt. So entstand ein Datensatz von rund 100 000 Titeln. Die FID-Titel dienen als Goldstandard für Validierung und Test, die übrigen Titel als Trainingskorpus. Dadurch ist die Erschließungsqualität der Trainingsdaten nicht mehr durchgehend gesichert. Wie stark sich das auswirkt, wird die Evaluation zeigen.

2. Multilingualität. Unsere Titel sind auf Spanisch, das Zielvokabular ist die deutsche GND. Für lexikalische Verfahren wie MLLM ist es eine technische Voraussetzung, dass Vokabular und zu erschließende Texte in derselben Sprache vorliegen. Wir haben deshalb die Vorzugsbenennungen und Alternativbezeichnungen der GND-Begriffe ins Spanische übertragen und dafür ein dreistufiges Verfahren umgesetzt: Zuerst haben wir das intellektuelle Mapping GND–EMBNE genutzt, das die höchste Qualität liefert, mit 11 275 gemappten Konzepten aber nur einen Bruchteil des Vokabulars abdeckt. Danach haben wir über die owl:sameAs-Verknüpfungen der GND die Wikidata-IDs ermittelt und per Query Service spanische Benennungen und Synonyme abgefragt. Für alle Konzepte, die dann noch ohne spanische Entsprechung waren, kam eine maschinelle Übersetzung mit einem LLM zum Einsatz, das per Prompt als professioneller Metadaten-Übersetzer instruiert wurde. Das mehrsprachige Vokabular liegt als SKOS-Datei im Turtle-Format vor.

3. Schlagwortverteilung. Unsere Trainingsdokumente sind im Schnitt nur mit zwei bis drei Schlagwörter erschlossen. Da das Modell nur lernen kann, was es in den Trainingsdaten sieht, können wir letztlich nur ein Modell anbieten, das wenige Schlagwörter pro Titel vorschlägt. Auch die Evaluation wird dadurch verzerrt: Bei Annifs Standardeinstellung von zehn Vorschlägen (limit=10) liegt die maximal erreichbare Precision bei zwei vorhandenen Schlagwörtern bei 20 %, weil die übrigen Vorschläge zwingend als falsch positiv zählen. Hinzu kommt der Long Tail: Rund 90 % unserer Schlagwörter kommen nur sehr selten im Korpus vor, während wenige Schlagwörter extrem häufig vergeben werden. Assoziative Backends benötigen jedoch meist 50 oder mehr Trainingsbeispiele pro Schlagwort. Seltene Begriffe werden daher kaum gelernt und kaum vorgeschlagen, und der Recall stagniert

Für die beschriebenen Probleme sehen wir mehrere Stellschrauben, an denen wir in den nächsten Trainingsiterationen ansetzen wollen. Für die Precision wollen wir limit auf zwei bis drei senken und den threshold iterativ optimieren. Den Recall wollen wir durch ein hybrides Ensemble erhöhen: Lexikalische Backends erkennen Long-Tail-Begriffe auch ohne Trainingsbeispiele und ergänzen so die assoziativen Verfahren. Zusätzlich überlegen wir, synthetische Trainingsdaten für Long-Tail-Schlagwörter zu erzeugen.

Über die Ergebnisse berichten wir in einem Folgebeitrag.

Ein Gedanke zu „Automatische Sacherschließung mit Annif: Erfahrungen aus der Vorbereitung für Erschließung spanischsprachiger E-Books“

  1. Liebe M. Xenia Kudela,
    ich bin interessiert an Austausch zu dem Thema, da wir derzeit auch versuchen, SE mit annif teilzuautomatisieren, s. Website.
    Viele Grüße
    Ralph

Schreibe einen Kommentar

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert