Videobeelden interpoleren naar hogere framerate

Moderator: Rhiannon

Gebruikersavatar
Berichten: 40

Videobeelden interpoleren naar hogere framerate

Al een paar maanden rommel ik met de DAIN-APP. Dit programma maakt gebruik van een getraind neuraal netwerk van kunstmatige intelligentie dat twee echte frames verwerkt en er frames tussen 'rendert' met het neural-network model.

Veel vroege NASA-filmbeelden zijn opgenomen met 6 of 12 fps, en dit interpoleren naar 24 of zelfs hoger doet wonderen voor de beelden. Het wordt veel soepeler, gemakkelijker om naar te kijken en je merkt zelfs kleinere details op die verborgen waren door het vorige zenuwachtige uiterlijk.

Hier zijn enkele vergelijkingen van originele framerate versus geïnterpoleerde framerate:













Dit werd geïnterpoleerd van 6 fps naar 24:




Binnenkort meer!

Gebruikersavatar
Berichten: 1.605

Re: Videobeelden interpoleren naar hogere framerate

Prachtig. Ik als amateur vind de verschillen bij Apollo 11 het duidelijkste. Ik heb de beelden nooit live ervaart. Maar die beelden van Apollo 11 doen het net zo goed. Prachtig

Berichten: 12.262

Re: Videobeelden interpoleren naar hogere framerate

Het kijkt zeker een stuk prettiger. Naar mijn gevoel verliest die apollo 11 interpolatie van 6 naar 24 fps wel een beetje aan detail/scherpte. Geen idee of dat gevolg is van het interpoleren zelf of van de youtube compressie.

Gezien het tijdvak waarin de beelden gemaakt zijn neem ik aan dat het ofwel analoge videosignalen ofwel film is als bron. Wat dan wel belangrijk is, is om altijd te vermelden dat je video een interpolatie is: Feitelijk zijn 3/4 van de frames niet 'echt'.

Op zich is dat geen drama, maar als je bijvoorbeeld een lichtflits van 100 ms was of iets in die geest is de kans reeel dat een 6 fps camera die compleet gemist zou kunnen hebben, maar een 24 fps niet.

Ik denk dat dit vooral nuttig is voor populair-wetenschappelijke content waarbij de hogere framerate het kijken prettiger maakt, maar de beelden niet bedoeld zijn voor verdere analyse. Persoonlijk vind ik lage framerates niet heel erg storend, maar een uur naar 6 fps footage kijken wordt wel vermoeiend, dus top als je die ervaring prettiger kunt maken.

Gebruikersavatar
Berichten: 40

Re: Videobeelden interpoleren naar hogere framerate

Wat heeft de voorkeur, met muziek:




Of zonder muziek:


Gebruikersavatar
Berichten: 40

Re: Videobeelden interpoleren naar hogere framerate

Benm schreef: do 23 apr 2020, 01:18 Het kijkt zeker een stuk prettiger. Naar mijn gevoel verliest die apollo 11 interpolatie van 6 naar 24 fps wel een beetje aan detail/scherpte. Geen idee of dat gevolg is van het interpoleren zelf of van de youtube compressie.

Gezien het tijdvak waarin de beelden gemaakt zijn neem ik aan dat het ofwel analoge videosignalen ofwel film is als bron. Wat dan wel belangrijk is, is om altijd te vermelden dat je video een interpolatie is: Feitelijk zijn 3/4 van de frames niet 'echt'.

Op zich is dat geen drama, maar als je bijvoorbeeld een lichtflits van 100 ms was of iets in die geest is de kans reeel dat een 6 fps camera die compleet gemist zou kunnen hebben, maar een 24 fps niet.

Ik denk dat dit vooral nuttig is voor populair-wetenschappelijke content waarbij de hogere framerate het kijken prettiger maakt, maar de beelden niet bedoeld zijn voor verdere analyse. Persoonlijk vind ik lage framerates niet heel erg storend, maar een uur naar 6 fps footage kijken wordt wel vermoeiend, dus top als je die ervaring prettiger kunt maken.
Hallo benm

Dank voor de opmerkingen en het constructieve kritiek, ik waardeer het als mensen de tijd nemen voor een reactie.

Ik gebruik 16mm film beelden hier, meestal schoten op 6, 12 en 24fps. (OOk wel op 1fps maar dat is te laag voor goede interpolatie op deze manier, frame-blending werkt hier beter)


Ik heb ook het idee dat de Apollo 11 interpolatie minder is in scherpte. Hiervoor heb ik een 1440x1080 ProRess444 bron gebruikt, het probleem is dat met 8Gb aan videogeheugen (RTX 2080 Super) geen hogere resolutie dan 960x720 kan interpoleren, het netwerk gebruikt enorm veel geheugen. Het programma verwerk de bron naar lossless PNGs en slaat die + geïnterpoleerde frames ook weer op als lossless. Maar de bitrate/compressie van de video die het uiteindelijk opslaat is erg slecht. Hellaas is dat op dit moment niet aan te passen.

Ik heb ook gemerkt dat de geïnterpoleerde frames minder korrel hebben, in feite komt dit door de manier waarop interpolatie werkt... in dit geval functioneert het dus deels ook als "temporal grain filter".

Ik vraag mij af of dit effect minder is als ik er eerst met een ander programma een korrel filter overheen gooi. Maar het liefste wil ik de bron zo min mogelijk verwerken omdat elke stap meer artefacten introduceert.


Zoals bij all historisch materiaal vind ik dat goed moet worden aangeven wat er mee gebeurt is, in dit geval interpolatie. Zodat er geen misverstanden ontstaan. Voor wetenschappelijke analyse is dit natuurlijk onbruikbaar, daarbij moet altijd de bron worden gebruikt.


Dit is dus meer als leuke hobby bedoeld, en dat veel mensen het waarderen dat ik de beelden meer toegankelijker maar, en synchroniseer met geluid, TV en hasselblad foto's. Ook zijn deze 16mm beelden soms de beste op YT, en spelen ze ook af op de juiste snelheid.


Veel 16mm beelden op YT zijn van slechte kwaliteit, stil, en spelen te langzaam of te snel af.

Op dit moment ben ik veel oude video's die je hier ziet opnieuw aan het maken met een betere bron, wat zorgt voor beter beeld.



Berichten: 12.262

Re: Videobeelden interpoleren naar hogere framerate

Dat korrel effect is inderdaad wel interessant. Hoe werkt eigenlijk de output van het systeem, bijvoorbeeld als je van 6 na 24 fps gaat? Krijg je dan 1 origineel, onbewerkt frame, 3 geintrapoleerde, en dan weer een origineel etc.. of maakt het ook veranderingen in de originele frames?


Dat er zoveel tamelijk slechte filmpjes op youtube staan komt denk ik doordat mensen de apparatuur er niet echt voor hebben, en dan een telecine gaan maken of iets dergelijks. Een digitale scan maken van ieder frame is natuurlijk beter maar ontiegelijk tijdrovend.

Niet dat telecine per se zo slecht hoeft te zijn, zolang je het maar goed doet. Soms zie je dat framerates niet matchen en krijg je schokken met zo nu en dan een soort half belicht frame of erger.

Gebruikersavatar
Berichten: 40

Re: Videobeelden interpoleren naar hogere framerate

Benm,

Bij 2x interpolatie (Bijv 12 naar 24 of 30 naar 60) is het patroon voorspelbaar.... echt, nep^1, echt, nep^1....

Bij 4x interpolatie (Bijv 6 naar 24 of 15 naar 60) is het patroon als volgt: echt, nep^1, nep^2, nep^1, echt....

4x interpolatie interpoleert het in feite de eerste en laatste nep^1 alsof het echte beelden zijn, en maakt het nep^2.

In de bijlage is goed te zoen hoe echte frames 868 en 872 de scherpste korrel hebben, 871 en 869 zijn al minder, 870 is misschien een beetje wazig...

Maar dit valt niet echt op... en wij zien het slechts als een apart korrel effect.

Het programma laat de originele frames dus met rust, vandaar het aparte korrel effect.

De bijlage laat ook een minder krachtige kant van het model zien. Wat al volledig in beeld is en beweegt (Rode streep op de helm) wordt vrijwel feilloos geïnterpoleerd, maar de stukjes links in het midden op het ruimtepak worden een grote streep. Een slimmer programma zou hier content-repair of content-aware-fill kunnen gebruiken om dit grotendeels op te lossen.

Maar ja, in feite is het een 'dom' model wat is getrained met duizenden samples. Slimme trucjes zoals content-aware-fill kent het niet. En opnieuw, deze kleine dingen vallen meestal niet op bij afspelen op 24fps of hoger.


De zeer hoogwaardige (150Mb/s ProRes444) bron die ik gebruik staat sinds 2018 op internet, het is een scan door de NASA van de orginele negatieven. Daar vóór moest je de meeste beelden zoeken op DVD sets, NASA websites gemaakt in 2005, en documentaires. Meestal niet de meest hoogwaardige bestanden om mee te beginnen. En bestanden downloaden van YT zorgt natuurlijk alleen maar voor meer YT compressie, wat vervolgens weer door YT wordt vernielt bij her-upload.


Maar het klopt, écht hoogwaardige (Archief/professioneel documantaire gebruik) digitaliseren van smalbeeldfilm is erg moelijk, deze machines kosten niet voor niets vele duizenden zo niet tienduizenden euro's. Het is zeer specialistisch werk om goed elk apart beelden te fotograferen, niet te min tijdrovend.
Bijlagen
Echt 872
Echt 872
Nep^1 871
Nep^1 871
Nep^2 870
Nep^2 870
Nep^1 869
Nep^1 869
Echt 868
Echt 868

Berichten: 12.262

Re: Videobeelden interpoleren naar hogere framerate

Dutchsteammachine schreef: do 23 apr 2020, 19:21 In de bijlage is goed te zoen hoe echte frames 868 en 872 de scherpste korrel hebben, 871 en 869 zijn al minder, 870 is misschien een beetje wazig...

Maar dit valt niet echt op... en wij zien het slechts als een apart korrel effect.

Het programma laat de originele frames dus met rust, vandaar het aparte korrel effect.

De bijlage laat ook een minder krachtige kant van het model zien. Wat al volledig in beeld is en beweegt (Rode streep op de helm) wordt vrijwel feilloos geïnterpoleerd, maar de stukjes links in het midden op het ruimtepak worden een grote streep. Een slimmer programma zou hier content-repair of content-aware-fill kunnen gebruiken om dit grotendeels op te lossen.

Maar ja, in feite is het een 'dom' model wat is getrained met duizenden samples. Slimme trucjes zoals content-aware-fill kent het niet. En opnieuw, deze kleine dingen vallen meestal niet op bij afspelen op 24fps of hoger.
Als je er niet op let valt het niet heel erg op inderdaad, zeker niet bij 24 fps. Tenzij je weet dat je naar een interpolatie zit te kijken en gaat letten op details. Dat verminderde korrel effect zou me denk ik niet zijn opgevallen als ik ze niet naast elkaar had gezien.

Op zich vind ik het overigens wel raar dat die badges op het ruimtepak een soort smeer worden: ergens zou het algoritme gewoon moeten weten wat het moet worden gezien zowel frame 868 als 872 beschikbaar zijn.

Zou je de opname achteruit afspelen en dan interpoleren zouden die stukjes juist uit beeld verdwijnen en zou het ook geen probleem moeten zijn ze in detail in te vullen. Wat dat betreft begrijp ik niet helemaal wat er aan de hand is, maar wellicht is het een onvolkomenheid in de software die opgelost kan worden door lookahead: zelfs meer dan 1 frame vooruit en terug, al maakt dat de berekeningen complexer en waarschijnlijk de hoeveelheid ram benodigd aanzienlijk groter.

Overigens is het wel grappig hoe dit samenkomt met de compressie van video: Codecs als x264/x265 slaan ook min of meer translaties, rotaties, vergroting en verkleining op in 'normale' frames. Ik heb geen idee hoe jouw software werkt, maar ergens lijkt het logisch te kunnen interpoleren tussen frames in een video die domweg op die manier gecomprimeerd is: een extra frame met half de verschilwaarden tussen de twee eromheen voor een verdubbeling.

Mijn kennis van hoe die codecs werken is te beperkt om er iets nuttigs mee te kunnen doen, maar het klinkt wel als een stuk minder rekenwerk, maar waarschijnlijk ook met minder goed resultaat, gezien de manier waarop nieuwe delen content worden toegevoegd niet zo heel eenvoudig is.

Gebruikersavatar
Berichten: 40

Re: Videobeelden interpoleren naar hogere framerate

Gisteren heb ik Apollo 14 klaar gemaakt, met een nieuwe, veel betere bron. het bevat de landing, EVA en maanlancering. Het staat nu op Patreon en is over een week publiek.

Afbeelding

Hebben jullie liever dat ik de originele 4:3 beeldverhouding aanhoud of dat ik afsnijd naar 16:9 ?


Berichten: 12.262

Re: Videobeelden interpoleren naar hogere framerate

Wat is hier het beeld aan de rechterkant? Gezien er hele stukken ontbreken neem ik aan niet de bron?

Verder zou ik 4:3 gewoon behouden, het zou zonde zijn informatie weg te gooien door te croppen.

Als mensen het kunnen downloaden en afspelen met eigen software (VLC) ofzo kunnen ze daar zelf voor kiezen: croppen, pillarboxen, stretchen of een combinatie ervan. Hetzelfde heb je met een bioscoopfilm die je op 16:9 wilt bekijken, persoonlijk kies ik dan voor een combinatie van alle drie in de meeste gevallen.

Gebruikersavatar
Berichten: 40

Re: Videobeelden interpoleren naar hogere framerate

Benm schreef: za 25 apr 2020, 17:17 Wat is hier het beeld aan de rechterkant? Gezien er hele stukken ontbreken neem ik aan niet de bron?

Verder zou ik 4:3 gewoon behouden, het zou zonde zijn informatie weg te gooien door te croppen.

Als mensen het kunnen downloaden en afspelen met eigen software (VLC) ofzo kunnen ze daar zelf voor kiezen: croppen, pillarboxen, stretchen of een combinatie ervan. Hetzelfde heb je met een bioscoopfilm die je op 16:9 wilt bekijken, persoonlijk kies ik dan voor een combinatie van alle drie in de meeste gevallen.
Rechts zijn TV beelden, live uitgezonden toen der tijd. Ik heb daar niet alle TV beelden van, daarom ontbreken er stukken. Als ik alle TV beelden heb maak ik die opnieuw.

Deze is wel compleet:


Berichten: 12.262

Re: Videobeelden interpoleren naar hogere framerate

Ah okay, interessant!

Wat ik me dan afvraag: het camerastandpunt lijkt nagenoeg identiek (met het tv beeld wat ingezoomed), maar destijds waren er geen camera's die tegelijk live konden uitzenden en iets vastleggen op film. Ik mis hier de nodige kennis, maar hoe zijn deze beelden verkregen? Ik had het idee dat die 6/12 fps video's op een fysiek medium (film) zijn vastgelegd en mee terug genomen naar de aarde. De live TV beelden zullen via een radioverbinding zijn doorgegeven, en gezien het amerikaans is op ~30 fps interlaced.

Hadden ze destijds 2 camera's pal naast elkaar, een voor de filmopname en een om het op live TV te brengen?

En iets waar ik eigenlijk nooit zo over had nagedacht: waarom zijn de TV beelden zwart-wit? De VS had in die tijd al uitzendingen in kleur (NTSC), ergens zou je denken dat ze een extreme prestatie als de eerste mens op de maan zouden uitzenden in kleur. Het zou overigens best kunnen dat dat niet haalbaar was vanwege de S/N ratio van het verzonden signaal... maar het blijft apart.

Gebruikersavatar
Moderator
Berichten: 9.781

Re: Videobeelden interpoleren naar hogere framerate

Benm schreef: ma 27 apr 2020, 01:17 En iets waar ik eigenlijk nooit zo over had nagedacht: waarom zijn de TV beelden zwart-wit?
Ik heb de indruk dat de TV-beelden in kleur zijn, al is het moeilijk te zien.
Er is sowieso weinig kleur aanwezig, uitgezonderd zaken als de rode streep op de helm. En als die weinig belicht is maakt de TV-camera er ook nog weinig van. Er zitten wel veel kleurige artefacten in, bij snellere bewegingen.
Zie hier wat kleur op de "rugzak" (verzadiging sterk opgeschroefd)
A16a.jpg
en hier het rode "iets" op de borst van het ruimtepak, naast bewegings-kleuren (werden de verschillende kleurenframes na elkaar uitgezonden, en niet op de standaard manier?).
A16b.jpg

Gebruikersavatar
Moderator
Berichten: 9.781

Re: Videobeelden interpoleren naar hogere framerate

A color camera – using a field-sequential color system – flew on the Apollo 10 mission in May 1969, and every mission after that.
All of these cameras required signal processing back on Earth to make the frame rate and color encoding compatible with analog broadcast television standards.
https://en.wikipedia.org/wiki/Apollo_TV_camera

Berichten: 12.262

Re: Videobeelden interpoleren naar hogere framerate

Hmm, misschien zit er gewoon niet zoveel kleur in die beelden, of komt het door de conversietechniek. In mijn herinnering zijn ze eigenlijk altijd zwart-wit, misschien met hier en daar een beetje kleur, maar dat kan bij NTSC uitzendingen gemakkelijk een artefact zijn.

Reageer