Automatisierte Transkription von audiovisuellen Forschungsdaten

Das von der NFDI4Memory geförderte Projekt ASR4Memory entwickelt für die Forschungscommunity ein prototypisches Angebot zur automatisierten Transkription von audiovisuellen Forschungsdaten in geschichtswissenschaftlichen Kontexten. Somit können historische audiovisuelle Ressourcen aus heterogenen Quellen in verschiedenen Sprachen für unterschiedliche Forschungs-, Nachnutzungs- und Archivierungsszenarien automatisiert transkribiert werden.

Das Vorhaben setzt – unter fachlich kritischer Auseinandersetzung mit dem Thema „Künstliche Intelligenz“ – Open-Source-basierte Spracherkenner zur automatisierten Transkription (ASR) ein. Die audiovisuellen Forschungsressourcen werden in einem ersten Schritt automatisiert in höchstmöglicher Audioqualität aufbereitet, anschließend mit einer bestmöglichen Wortgenauigkeit spracherkannt und schließlich nach wissenschaftlichen Standards in zeitkodierte Transkript- und Metadatenformate konvertiert. Geprüft wird zudem, ob durch ein Training und Finetuning der auf Deep-Learning-basierten Spracherkennungsmodelle eine Verbesserung der Transkriptionsergebnisse erzielt werden kann. Die Forschungsdaten werden datenschutzkonform ausschließlich auf lokal betriebenen Servern der Universität verarbeitet.

In der Forschungscommunity besteht ein großes Interesse, audiovisuelle Bestände technisch zu optimieren, nach wissenschaftlichen Standards in Textform bereitzustellen und inhaltlich zu erschließen sowie bei neuen Projekten die Nachnutzbarkeit mitzudenken. Dieses Angebot ermöglicht es, historische Forschungsressourcen – z.B. Zeitzeugeninterviews, Dokumentarfilme oder Tonaufzeichnungen – automatisiert in der Originalsprache zu transkribieren und somit eine wichtige Grundlage für die wissenschaftliche Erschließung der Ressourcen zu schaffen.

Der Mehrwert des Vorhabens liegt darin, sichere und fachlich kuratierte Infrastrukturen und anwendungsorientierte Workflows der Community bereitzustellen, welche automatisiertes und gleichzeitig hochqualitatives Transkribieren von mehrsprachigen Audio-Video-Datenbeständen ermöglicht. In einem Workshop am 18. März 2024 haben Pilotnutzende ihre Bedarfe an das Projekt herangetragen. Über den Projektzeitraum hinaus soll ein tragfähiges Konzept für ein nachhaltiges Betriebsmodell für die NFDI4Memory-Community entwickelt werden.

Das Projekt sucht weitere Pilotnutzende für die automatisierte Transkription von audiovisuellen Ressourcen. Gerne können Sie Ihre AV-Daten temporär zur Verfügung stellen, die lokal und sicher verarbeitet und nach Projektende gelöscht werden. Sie erhalten die erzeugten Transkriptionen in verschiedenen Exportformaten für Ihre weitere Verwendung.

Projektwebseite: https://www.fu-berlin.de/asr4memory

Github-Repositorien: https://github.com/asr4memory

https://4memory.de/2024/03/05/lunch-break-4memory-incubator-funds-12-03/

https://4memory.de/4memory-incubator-funds/

https://4memory.de/blog/

https://4memory.de/2024/03/18/asr4memory-sucht-pilotnutzende/

Das Projekt läuft vom 01.01. bis zum 31.12.2024 und wird im Rahmen der „4Memory Incubator Funds“ (Task Area 1: Data Quality) gefördert. In diesem Projekt arbeiten die an der Universitätsbibliothek angesiedelten Teams der Digitalen Interview-Sammlungen und des Universitätsarchivs zusammen.

Das 2023 erstmalig ausgeschriebene „Incubator Funds“ des Konsortiums 4Memory der Nationalen Forschungsdateninfrastruktur (NFDI) fördert innovative und experimentelle Projektideen aus dem Bereich der Digital History.

Auf Seiten der Freien Universität sind neben der Universitätsbibliothek der Arbeitsbereich Geschichtsdidaktik des Friedrich-Meinecke-Instituts (FMI) sowie das Lateinamerika-Institut (LAI) Participants des Konsortiums 4Memory.

• Projektleitung: Dr. Tobias Kilgus
• Projektmitarbeiter: Peter Kompiel, Marc Altmann

tobias.kilgus@fu-berlin.de

peter.kompiel@fu-berlin.de