Disney Research hat mit dem neuen Face Re-Aging Network (FRAN) eine Lösung vorgestellt, mit der Personen per Mausklick jünger oder älter gemacht werden können.
Autor: Dr. Jakob Jung
Die fotorealistische digitale Nachbearbeitung von Gesichtern in Videos wird in der Unterhaltungs- und Werbebranche immer häufiger eingesetzt. Der vorherrschende 2D-Malworkflow erfordert jedoch oft Bild für Bild manuelle Arbeit, die selbst für erfahrene Künstler Tage dauern kann. Obwohl die Forschung auf dem Gebiet des Re-Agings von Gesichtsbildern versucht hat, dieses Problem zu automatisieren und zu lösen, sind die derzeitigen Techniken von geringem praktischem Nutzen, da sie in der Regel unter dem Verlust der Gesichtsidentität, einer schlechten Auflösung und instabilen Ergebnissen bei nachfolgenden Videobildern leiden.
Sechs Forscher von Disney Research Schweiz stellten die erste praktische, vollautomatische und produktionsreife Methode für das Re-Aging von Gesichtern in Videobildern vor. Die erste wichtige Erkenntnis besteht in der Lösung des Problems, longitudinale Trainingsdaten zu sammeln, um das Re-Aging von Gesichtern über längere Zeiträume hinweg zu erlernen – eine Aufgabe, die für eine große Anzahl echter Menschen nahezu unmöglich zu bewältigen ist.
Disney zeigt, wie ein solcher Längsschnittdatensatz erstellt werden kann, indem sie den aktuellen Stand der Technik bei der Gesichtsalterung nutzen, der zwar bei realen Bildern versagt, aber bei synthetischen Gesichtern fotorealistische Alterungsergebnisse liefert.
Die zweite wichtige Erkenntnis besteht darin, diese synthetischen Daten zu nutzen und das Re-Aging von Gesichtern als eine praktische Bild-zu-Bild-Übersetzungsaufgabe zu formulieren, die durch das Training einer gut verstandenen U-Netz-Architektur durchgeführt werden kann, ohne dass komplexere Netzdesigns erforderlich sind. Disney demonstriert, wie das einfache U-Net überraschenderweise den Stand der Technik für die Wiederherstellung echter Gesichter auf Video mit beispielloser zeitlicher Stabilität und Erhaltung der Gesichtsidentität bei unterschiedlichen Ausdrücken, Blickwinkeln und Lichtverhältnissen verbessert.
Schließlich beinhaltet das neues Face Re-Aging Network (FRAN) einfache und intuitive Mechanismen, die den Künstlern lokale Kontrolle und kreative Freiheit zur Steuerung und Feinabstimmung des Re-Aging-Effekts bieten – eine Funktion, die in realen Produktionspipelines von großer Bedeutung ist und in verwandten Forschungsarbeiten oft übersehen wird.
Dr. Jakob Jung ist Chefredakteur Security Storage und Channel Germany. Er ist seit mehr als 20 Jahren im IT-Journalismus tätig. Zu seinen beruflichen Stationen gehören Computer Reseller News, Heise Resale, Informationweek, Techtarget (Storage und Datacenter) sowie ChannelBiz. Darüber hinaus ist er für zahlreiche IT-Publikationen freiberuflich tätig, darunter Computerwoche, Channelpartner, IT-Business, Storage-Insider und ZDnet. Seine Themenschwerpunkte sind Channel, Storage, Security, Datacenter, ERP und CRM.
Dr. Jakob Jung is Editor-in-Chief of Security Storage and Channel Germany. He has been working in IT journalism for more than 20 years. His career includes Computer Reseller News, Heise Resale, Informationweek, Techtarget (storage and data center) and ChannelBiz. He also freelances for numerous IT publications, including Computerwoche, Channelpartner, IT-Business, Storage-Insider and ZDnet. His main topics are channel, storage, security, data center, ERP and CRM.
Kontakt – Contact via Mail: jakob.jung@security-storage-und-channel-germany.de