Thor Lab · kennisnotitieVerkenning realtime video-model voor de live-flowRealtime video model for the live flow

Decart Lucy 2.5 voor onze live-flowDecart Lucy 2.5 for our live flow

Kan een realtime video-model met live referentiebeelden onze schets naar model, macro naar micro flow versterken?Can a realtime video model with live reference images strengthen our sketch to model, macro to micro flow?

21 juli 2026 · Aanleiding: Dino zag Lucy 2.5 (Decart), naast De Notulist op dvandeijzen.workPrompted by: Dino saw Lucy 2.5 (Decart), alongside De Notulist on dvandeijzen.work
Vervolg → De integratieweg: splat plus realtime generatie (welke paden zijn vruchtbaar, plus de lokale benchmark)Next → The integration path: splat plus realtime generation (which paths are fruitful, plus the local benchmark)

De kernThe finding

De ene eigenschap die je zocht bestaat echt: Lucy 2.5 stuurt een live camerabeeld op 30 fps bij op basis van een referentiebeeld dat je midden in de stream verwisselt. Maar het is de cloud-versie die dat kan, jouw Blackwell draait het niet lokaal, en er is geen uitspraak over waar je beelden blijven. Het is een live-verf-laag, geen meet-laag.The one capability you were after is real: Lucy 2.5 restyles a live camera feed at 30 fps from a reference image you swap mid-stream. But it is the cloud version that can do this, your Blackwell cannot run it locally, and there is no statement on where your frames go. It is a live paint layer, not a measurement layer.

Live referentiebeeld: jaLive reference image: yes 30 fps · WebRTC Realtime = alleen cloudRealtime = cloud only EU-dataroute: onbekendEU data path: unstated Demo gratis, geen accountFree demo, no account

Concept board: live camera and sketch, Lucy 2.5 live transform conditioned by an engineering reference image, macro to meso to micro zoom, flow diagram
Waar Lucy 2.5 in de flow zou zitten: live camera of schets in, referentiebeeld plus prompt sturen, getransformeerd beeld terug in de vergadering. De macro naar micro stap stuur jij (camera of prompt), Lucy verft elk frame.Where Lucy 2.5 would sit in the flow: live camera or sketch in, reference image plus prompt as the steer, transformed view back into the meeting. The macro to micro step is driven by you (camera or prompt); Lucy paints each frame.

1Wat het precies isWhat it actually is

Decart bracht Lucy 2.5 uit op 16 juli 2026. Het is een live video naar video model: er gaat een camera of videostream in, en er komt een getransformeerde stream uit, frame voor frame, in realtime. Het verzint geen video uit het niets zoals Kling of Veo, het bewerkt een binnenkomend beeld. De lijn loopt van MirageLSD (2025, het eerste live-stream diffusiemodel) via Lucy Edit naar Lucy 2, 2.1 en nu 2.5.Decart released Lucy 2.5 on 16 July 2026. It is a live video to video model: a camera or video stream goes in, a transformed stream comes out, frame by frame, in realtime. It does not invent video from scratch like Kling or Veo, it edits an incoming feed. The line runs from MirageLSD (2025, the first live-stream diffusion model) through Lucy Edit to Lucy 2, 2.1 and now 2.5.

Decart claimt 30 fps op 1080p met bijna geen vertraging (onder 40 ms). Let op: de API-documentatie noemt voor de realtime-stroom 720p, terwijl de marketing 1080p roept. Reken op 720p als wat je op de API krijgt, 1080p is de demo. Onafhankelijke metingen zetten die bijna-nul-latency op ongeveer 100 ms per frame: echt realtime, niet letterlijk nul. Nieuw in 2.5 is Self-Anchoring, dat de bewerking vastzet zodat een lange stream niet wegdrijft, een bekend probleem bij live diffusie.Decart claims 30 fps at 1080p with near zero latency (under 40 ms). Note: the API docs list the realtime stream at 720p, while marketing says 1080p. Count on 720p as what the API gives you, 1080p is the demo. Independent measurements put that near-zero latency at about 100 ms per frame: genuinely realtime, not literally zero. New in 2.5 is Self-Anchoring, which locks the edit so a long stream does not drift, a known problem in live diffusion.

2De eigenschap die past: live referentiebeeldenThe capability that fits: live reference images

Dit is het antwoord op je vraag. Lucy 2.5 accepteert een tekst-prompt, een referentiebeeld, of allebei tegelijk in dezelfde integratie. Je duwt het referentiebeeld midden in de stream door met een set()-aanroep, dus je kunt de referentie wisselen terwijl de camera doorloopt.This is the answer to your question. Lucy 2.5 accepts a text prompt, a reference image, or both at once in the same integration. You push the reference image mid-stream with a set() call, so you can swap the reference while the camera keeps running.

3Hoe het op onze flow past (en waar niet)How it fits our flow (and where it does not)

De Notulist maakt van een live schets echte model-elementen: muren, openingen, maten op schaal. Dat is een waarheids-laag: geometrie en meetwerk. Lucy is iets anders, een verf-laag: het geeft een live camera of walkthrough een gestuurde stijl, maar het weet niets van maten of geometrie.De Notulist turns a live sketch into real model elements: walls, openings, dimensions to scale. That is a truth layer: geometry and measurement. Lucy is something else, a paint layer: it gives a live camera or walkthrough a steered style, but it knows nothing of dimensions or geometry.

Waar het wel pastWhere it does fitAls live visualisatie-huid: een ruwe schets of grijze massa in de vergadering live tot een gestylede render maken, gestuurd door een engineering-referentiebeeld. Sterk voor een installatie, een pitch of een beamer-moment.As a live visualization skin: turning a rough sketch or grey massing into a styled render live in the meeting, steered by an engineering reference image. Strong for an installation, a pitch or a projector moment.
Waar het niet pastWhere it does notNiet in het meet-pad van de Notulist. Het vervangt geen vectors, schaal of openingen. En de macro naar micro zoom zit niet in het model: dat stuur jij met de camera of een prompt-reeks, Lucy transformeert alleen elk frame.Not in the Notulist measurement path. It does not replace vectors, scale or openings. And the macro to micro zoom is not in the model: you drive that with the camera or a prompt sequence, Lucy only transforms each frame.

De coarse-to-fine besturing van Lucy (eerst een brede instructie, dan inzoomen op positie, kleur, detail) is prompt-granulariteit, geen optische zoom. Het dichtste wat je krijgt bij macro naar micro naar subject is: jij beweegt, Lucy verft mee.Lucy's coarse-to-fine control (a broad instruction first, then drilling into position, colour, detail) is prompt granularity, not optical zoom. The closest you get to macro to micro to subject is: you move, Lucy paints along.

De Notulist presentation board: a hand sketch on tracing paper becomes model elements
Ter herinnering, de waarheids-laag die we al hebben: De Notulist (schets naar model). Lucy zou hiernaast staan als verf-laag, niet erin.For reference, the truth layer we already have: De Notulist (sketch to model). Lucy would sit beside this as a paint layer, not inside it.

4Eerlijke kanttekeningenHonest caveats

5Het landschapThe landscape

ModelModelTypeTypeLive referentiebeeldLive reference imageWaarWhere
Lucy 2.5live video naar videolive video to videoja, midden in de streamyes, mid-streamcloud (WebRTC)
MirageLSDlive diffusie (voorganger)live diffusion (predecessor)nauwelijks, vooral tekstbarely, mostly textcloud
Krea Realtime 14Brealtime generatie, open (Apache-2.0)realtime generation, open (Apache-2.0)via prompt/ref, circa 11 fpsvia prompt/ref, about 11 fpslokaal op de Blackwell (96 GB, Linux/WSL)local on the Blackwell (96 GB, Linux/WSL)
StreamDiffusion V2realtime pijplijn, open (MLSys 2026)realtime pipeline, open (MLSys 2026)via ControlNet, ruwervia ControlNet, rougherlokaal, 58 fps pas op 4x H100local, 58 fps only on 4x H100
Runway / Klingoffline generatieoffline generationn.v.t. (niet live)n/a (not live)cloud
Odyssey / World Labswereldmodelworld modelandere categoriedifferent categorycloud / splatcloud / splat

Voor live, referentie-gestuurde, lage-latency bewerking is Lucy 2.5 op dit moment het meest afgewerkte product. Wil je het lokaal en EU-veilig, dan is Krea Realtime 14B (Apache-2.0, draait op jouw 96 GB Blackwell onder Linux/WSL) het juiste pad, met lagere framerate en kwaliteit. Twee onafhankelijke research-passes komen op dezelfde conclusie uit.For live, reference-steered, low-latency editing, Lucy 2.5 is currently the most finished product. If you want it local and EU-safe, Krea Realtime 14B (Apache-2.0, runs on your 96 GB Blackwell under Linux/WSL) is the right path, at lower framerate and quality. Two independent research passes reach the same conclusion.

6Zou iets anders ons beter liggen? Drie taken, geen zes concurrentenWould something else suit us better? Three tasks, not six rivals

Toen we het hele veld met drie parallelle research-agenten uitkamden, viel het inzicht op zijn plek: de rijen in de tabel hierboven zijn geen zes kandidaten voor één taak, het zijn drie verschillende taken die per ongeluk op elkaar lijken. De vraag of iets ons beter ligt, wordt pas scherp als je ze uit elkaar trekt.When we swept the whole field with three parallel research agents, the insight fell into place: the rows in the table above are not six candidates for one task, they are three different tasks that happen to look alike. The question of whether something suits us better only gets sharp once you pull them apart.

Board showing three lanes: a paint layer (realtime video to video), a reference-steered edit, and an explorable splat world, each with its matching tool
Drie taken, drie gereedschappen. Links de verf-laag (realtime video naar video, lokaal open). Midden de referentie-gestuurde bewerking (cloud, Lucy 2.5). Rechts de verkenbare wereld (splat-model). Ze concurreren niet, ze doen iets anders.Three tasks, three tools. Left the paint layer (realtime video to video, local open). Middle the reference-steered edit (cloud, Lucy 2.5). Right the explorable world (splat model). They do not compete, they do different jobs.
Lab-taakLab taskWat je echt wilWhat you actually wantBeste fitBest fitWaaromWhy
Live installatie / beamerLive installation / projector
camera- of schetsfeed realtime restylenrestyle a camera or sketch feed in realtime
Lokaal, geen netwerk-afhankelijkheid in de zaalLocal, no network dependency in the room StreamDiffusion V2 (met Krea Realtime 14B ernaast)(with Krea Realtime 14B beside it) Apache-2.0, expliciete Blackwell-support (mei 2026), gewoon pip install, draait op de kaart die we al hebbenApache-2.0, explicit Blackwell support (May 2026), just pip install, runs on the card we already have
Precieze live reference-editPrecise live reference edit
de notulist macro naar micro flowthe notulist macro to micro flow
Trouwe, referentie-gestuurde bewerking van een live feedFaithful, reference-steered editing of a live feed Lucy 2.5 blijft koploperLucy 2.5 stays ahead Enige met faithful live reference-conditioning; lokale v2v regenereert de pixels, minder trouwOnly one with faithful live reference conditioning; local v2v regenerates the pixels, less faithful
Verkenbare 3D-wereldExplorable 3D world
splat-installatiesplat installation
Realtime navigeerbare scene, lokaal afspeelbaarRealtime navigable scene, played back locally Marble (splat-export) of Matrix-Game 3.0(splat export) or Matrix-Game 3.0 Splat draait lokaal realtime, sluit direct aan op onze splat-lijnThe splat runs locally in realtime, plugs straight into our splat line

7Waar het ons echt beter ligt: de lokale installatie-laanWhere it genuinely suits us better: the local installation lane

Voor het werk dat het meest van jou is (interactieve installatie, beamer, TouchDesigner, de schets die leeft) ligt het lokale open paar beter dan Lucy, om drie redenen die precies onze eigen regels raken.For the work that is most yours (interactive installation, projector, TouchDesigner, the sketch that comes alive), the local open pair suits us better than Lucy, for three reasons that hit our own rules exactly.

Board: a single Blackwell GPU workstation running an open realtime pipeline into a projector inside a room, local path solid, cloud path dashed and crossed out
De lokale laan: één Blackwell-kaart draait een open realtime-pijplijn (StreamDiffusion V2, Krea) rechtstreeks de beamer in. Het beeld verlaat de zaal niet. Geen cloud-verbinding die live moet blijven, geen kosten die tikken zolang de installatie draait.The local lane: one Blackwell card runs an open realtime pipeline (StreamDiffusion V2, Krea) straight into the projector. The image never leaves the room. No cloud link that has to stay up, no cost ticking as long as the installation runs.
Onbekende die teltThe unknown that mattersNiemand publiceert de single-GPU framerate van Krea of StreamDiffusion V2, alleen 4x H100 of 1x B200. Schatting op onze RTX 6000: het 1.3B-model usable-realtime (circa 6 tot 10 fps), het 14B-model onder de 10 fps. Dat los je op met een benchmark, niet met meer lezen.Nobody publishes the single-GPU framerate of Krea or StreamDiffusion V2, only 4x H100 or 1x B200. Estimate on our RTX 6000: the 1.3B model usable-realtime (about 6 to 10 fps), the 14B model below 10 fps. You settle that with a benchmark, not with more reading.
Verf, geen warpPaint, not warpDeze tools regenereren pixels, ze warpen niet. Onze eigen sketch-to-life-wet blijft staan: voor pixel-getrouwe schetsanimatie win je met warp (Animated Drawings, ARAP). Diffusie-v2v is de effect- en restyle-laan, niet de trouwe-schets-laan.These tools regenerate pixels, they do not warp. Our own sketch-to-life rule holds: for pixel-faithful sketch animation you win with warp (Animated Drawings, ARAP). Diffusion v2v is the effect and restyle lane, not the faithful-sketch lane.

Policy-noot: StreamDiffusion V2 en Krea leunen op Wan-gewichten (Alibaba, Apache-2.0). Geen juridisch blok, wel Chinese origin, dus onder onze externe-data-wall prima voor installatie-content, niet voor iets met gevoelige IP of input.Policy note: StreamDiffusion V2 and Krea lean on Wan weights (Alibaba, Apache-2.0). No legal block, but Chinese origin, so under our external-data wall fine for installation content, not for anything with sensitive IP or input.

8De vierde categorie: verkenbare wereldenThe fourth category: explorable worlds

De rij Odyssey / World Labs is geen video-editor maar een wereldmodel, en dat sluit toevallig aan op onze splat- en substrate-lijn. De aanpak die ons het beste ligt is niet live-in-de-cloud genereren, maar: genereer de scene, exporteer de splat, en draai hem daarna volledig lokaal.The Odyssey / World Labs row is not a video editor but a world model, and that happens to plug into our splat and substrate line. The approach that suits us best is not to generate live in the cloud, but: generate the scene, export the splat, then run it fully locally.

Board: Marble generates a world in the cloud, exports a gaussian splat, which runs locally realtime in TouchDesigner and a projector; Matrix-Game 3.0 shown as an open local generative world model
De wereld-laan. Marble genereert een scene in de cloud en exporteert een splat die daarna lokaal realtime draait (Spark of TouchDesigner), geen frame-per-frame cloud-afhankelijkheid. Matrix-Game 3.0 is het enige echt open, lokaal, generatieve wereldmodel (Apache/MIT, circa 40 fps op de Blackwell met de 5B-variant).The world lane. Marble generates a scene in the cloud and exports a splat that then runs locally in realtime (Spark or TouchDesigner), no frame-by-frame cloud dependency. Matrix-Game 3.0 is the only truly open, local, generative world model (Apache/MIT, about 40 fps on the Blackwell with the 5B variant).
Marble (World Labs)(World Labs)Beste fit voor een statische, verkenbare installatie: genereer in de cloud, exporteer de splat (500k of 2M punten), speel lokaal af in de browser (Spark) of trek hem in TouchDesigner. Interactie is camera en navigatie, geen generatieve reactie.Best fit for a static, explorable installation: generate in the cloud, export the splat (500k or 2M points), play locally in the browser (Spark) or pull it into TouchDesigner. Interaction is camera and navigation, not generative reaction.
Matrix-Game 3.0 (Skywork)(Skywork)Beste fit als je live generatieve interactiviteit lokaal wil: Apache/MIT, open gewichten, draait op de Blackwell (5B plus INT8, niet de 28B-MoE). Opzet is zwaar en het domein is game-achtig, maar het is de enige echt self-hostbare generatieve optie.Best fit if you want live generative interactivity locally: Apache/MIT, open weights, runs on the Blackwell (5B plus INT8, not the 28B-MoE). Setup is heavy and the domain is game-like, but it is the only truly self-hostable generative option.

Wat af te raden voor een installatie in Nederland: Genie 3 (Google) is US-only, geen API, geen export, niet self-hostbaar. En Odyssey is realtime maar volledig cloud, dus het hangt aan een stabiele lage-latency verbinding op locatie. Voor een galerie is dat een risico dat de lokale paden hierboven niet hebben.What to avoid for an installation in the Netherlands: Genie 3 (Google) is US-only, no API, no export, not self-hostable. And Odyssey is realtime but fully cloud, so it hangs on a stable low-latency link on site. For a gallery that is a risk the local paths above do not carry.

9Oordeel en concrete volgende stapVerdict and concrete next step

Het waard om te proberen, deze weekWorth trying, this weekDe live demo op lucy.decart.ai vraagt geen account en geen betaling. Test hem met een van onze echte engineering-referenties (een facade-detail of materiaalmonster) op je bureau-camera boven een schets. Dat kost tien minuten en zegt meteen of de huid ons iets geeft.The live demo at lucy.decart.ai asks for no account and no payment. Test it with one of our real engineering references (a facade detail or material swatch) on your desk camera above a sketch. That costs ten minutes and immediately tells us whether the skin gives us anything.

Als het landt: een klein WebRTC-prototype dat één referentiebeeld via set() voedt, naast de Notulist gezet als losse visualisatie-laag, niet erin. Houd waarheid (Notulist: geometrie, schaal, openingen) en verf (Lucy: live stijl) gescheiden.If it lands: a small WebRTC prototype feeding one reference image via set(), placed beside the Notulist as a separate visualization layer, not inside it. Keep truth (Notulist: geometry, scale, openings) and paint (Lucy: live style) separate.

Blijf uit het meet-pad. Voor IP-gevoelig werk gaat er niets naar de cloud tot de dataroute helder is. Gebruik Lucy voorlopig voor niet-gevoelige demo's en beamer-momenten. Voor een volledig lokale, EU-veilige installatie (TouchDesigner) is Krea Realtime 14B op de Blackwell het architectonisch juiste pad, met lagere framerate als prijs.Stay out of the measurement path. For IP-sensitive work nothing goes to the cloud until the data path is clear. Use Lucy for now on non-sensitive demos and projector moments. For a fully local, EU-safe installation (TouchDesigner), Krea Realtime 14B on the Blackwell is the architecturally correct path, at the cost of lower framerate.

De ene test die de vraag beslechtThe one test that settles the questionZet StreamDiffusion V2 op de Blackwell (pip install streamdiffusionv2, torch 2.11 cu128, WSL2) en meet de echte framerate op 720p, zowel 1.3B als 14B. Dat is de laagste build-frictie van de hele lijst en de enige onbekende die telt. Dan weten we of het lokale pad realtime genoeg is om Lucy voor installaties te vervangen, in plaats van het te schatten.Put StreamDiffusion V2 on the Blackwell (pip install streamdiffusionv2, torch 2.11 cu128, WSL2) and measure the real framerate at 720p, both 1.3B and 14B. That is the lowest build friction of the whole list and the only unknown that matters. Then we know whether the local path is realtime enough to replace Lucy for installations, instead of estimating it.

BronnenSources Decart, Lucy 2.5: Raising the Bar for Live AI · API docs, Lucy 2.5 Realtime · pricing · live demo · HF Lucy-Edit-Dev · Lucy-Edit-ComfyUI · MirageLSD · fal Lucy 2.5 realtime API · Krea Realtime 14B.

Lucy-feiten gegrond op twee onafhankelijke research-passes: een web-research pass plus een deep-research run (104 agents, adversariële verificatie). Het landschap (secties 6 tot 8) is toegevoegd op 21 juli 2026 uit drie parallelle web-research-agenten (lokaal-open, cloud video-naar-video, wereldmodellen), elk met bron-URLs en verified-versus-unverified-scheiding. Alle concept-boards: Nano Banana Pro 2.Lucy facts grounded on two independent research passes: a web-research pass plus a deep-research run (104 agents, adversarial verification). The landscape (sections 6 to 8) was added on 21 July 2026 from three parallel web-research agents (local-open, cloud video-to-video, world models), each with source URLs and a verified-versus-unverified split. All concept boards: Nano Banana Pro 2.

Landschap-bronnen: StreamDiffusion V2 · arXiv 2511.07399 (MLSys 2026) · Krea Realtime 14B (HF) · World Labs Marble · Spark 2.0 (lokale splat-render) · Matrix-Game 3.0 · Odyssey · Genie 3 · Wan 2.2.Landscape sources: StreamDiffusion V2 · arXiv 2511.07399 (MLSys 2026) · Krea Realtime 14B (HF) · World Labs Marble · Spark 2.0 (local splat render) · Matrix-Game 3.0 · Odyssey · Genie 3 · Wan 2.2.