12 Vollautomatische Highlight-Erkennung
Frühjahrstagung 2021 Große Freiheit oder Quarantäne - Agile Mediendokumentation in Zeiten von Corona - 26.04.2021 - 28.04.2021 (Zoom)

Vollautomatische Highlight-Erkennung

Vollautomatische Highlight-Erkennung und Video-Compilation in Wimbledon und den US Open

Das Hauptthema des Vortrags ist die automatisierte Metadaten-Generierung, aber auch die von IBM entwickelte KI Watson und wie diese im Produktionsprozess unterstützen kann. Watson ist bekannt dafür, Fragen zu beantworten, die man per Sprache oder auch digital stellt. Für den Spielfilm „Morgan“ präsentierte Watson aber eine andere Fähigkeit, denn für „Morgan“ erstellte die KI von IBM einen Filmtrailer. Die IBM-KI-Entwickler wählten hierfür im Vorfeld zunächst einige für gut befundene Spielfilme und passende Trailer dieses Genres aus und analysierten, was einen ansprechenden Trailer ausmacht. Schnitt, Bewegtbild, Emotionen, Bildsprache, aber auch Background-Sounds und Tonlage der Schauspieler wurden erfasst, bewertet und gewichtet. Im nächsten Schritt trainierte Watson auf dieser Basis per Machine Learning den automatischen Trailerschnitt. Im weiteren Verlauf des Vortrages wird dann aufgezeigt, wie beim Tennisturnier in Wimbledon automatisch die sportlichen Highlights detektiert und an eine personalisierbare App weitergeleitet werden um so letztlich eine neue Fan Experience zu ermöglichen. Für Sky wiederum entwickelte IBM auf Basis von Watson einen Workflow, der automatisiert Ein- und Ausstiegsszenen bestimmter Clips austauscht um so rascher einen Programmwechsel für Serien und Produktionen zu ermöglichen.