Kan een realtime video-model met live referentiebeelden onze schets naar model, macro naar micro flow versterken?Can a realtime video model with live reference images strengthen our sketch to model, macro to micro flow?
De ene eigenschap die je zocht bestaat echt: Lucy 2.5 stuurt een live camerabeeld op 30 fps bij op basis van een referentiebeeld dat je midden in de stream verwisselt. Maar het is de cloud-versie die dat kan, jouw Blackwell draait het niet lokaal, en er is geen uitspraak over waar je beelden blijven. Het is een live-verf-laag, geen meet-laag.The one capability you were after is real: Lucy 2.5 restyles a live camera feed at 30 fps from a reference image you swap mid-stream. But it is the cloud version that can do this, your Blackwell cannot run it locally, and there is no statement on where your frames go. It is a live paint layer, not a measurement layer.
Live referentiebeeld: jaLive reference image: yes 30 fps · WebRTC Realtime = alleen cloudRealtime = cloud only EU-dataroute: onbekendEU data path: unstated Demo gratis, geen accountFree demo, no account
Decart bracht Lucy 2.5 uit op 16 juli 2026. Het is een live video naar video model: er gaat een camera of videostream in, en er komt een getransformeerde stream uit, frame voor frame, in realtime. Het verzint geen video uit het niets zoals Kling of Veo, het bewerkt een binnenkomend beeld. De lijn loopt van MirageLSD (2025, het eerste live-stream diffusiemodel) via Lucy Edit naar Lucy 2, 2.1 en nu 2.5.Decart released Lucy 2.5 on 16 July 2026. It is a live video to video model: a camera or video stream goes in, a transformed stream comes out, frame by frame, in realtime. It does not invent video from scratch like Kling or Veo, it edits an incoming feed. The line runs from MirageLSD (2025, the first live-stream diffusion model) through Lucy Edit to Lucy 2, 2.1 and now 2.5.
Decart claimt 30 fps op 1080p met bijna geen vertraging (onder 40 ms). Let op: de API-documentatie noemt voor de realtime-stroom 720p, terwijl de marketing 1080p roept. Reken op 720p als wat je op de API krijgt, 1080p is de demo. Onafhankelijke metingen zetten die bijna-nul-latency op ongeveer 100 ms per frame: echt realtime, niet letterlijk nul. Nieuw in 2.5 is Self-Anchoring, dat de bewerking vastzet zodat een lange stream niet wegdrijft, een bekend probleem bij live diffusie.Decart claims 30 fps at 1080p with near zero latency (under 40 ms). Note: the API docs list the realtime stream at 720p, while marketing says 1080p. Count on 720p as what the API gives you, 1080p is the demo. Independent measurements put that near-zero latency at about 100 ms per frame: genuinely realtime, not literally zero. New in 2.5 is Self-Anchoring, which locks the edit so a long stream does not drift, a known problem in live diffusion.
Dit is het antwoord op je vraag. Lucy 2.5 accepteert een tekst-prompt, een referentiebeeld, of allebei tegelijk in dezelfde integratie. Je duwt het referentiebeeld midden in de stream door met een set()-aanroep, dus je kunt de referentie wisselen terwijl de camera doorloopt.This is the answer to your question. Lucy 2.5 accepts a text prompt, a reference image, or both at once in the same integration. You push the reference image mid-stream with a set() call, so you can swap the reference while the camera keeps running.
realtime.set(image=f, prompt="...", enhance=True) vervangt de hele stuur-staat in één keer (velden die je weglaat worden gewist, dus stuur prompt en beeld samen).realtime.set(image=f, prompt="...", enhance=True) replaces the whole steer state at once (omitted fields are cleared, so send prompt and image together).De Notulist maakt van een live schets echte model-elementen: muren, openingen, maten op schaal. Dat is een waarheids-laag: geometrie en meetwerk. Lucy is iets anders, een verf-laag: het geeft een live camera of walkthrough een gestuurde stijl, maar het weet niets van maten of geometrie.De Notulist turns a live sketch into real model elements: walls, openings, dimensions to scale. That is a truth layer: geometry and measurement. Lucy is something else, a paint layer: it gives a live camera or walkthrough a steered style, but it knows nothing of dimensions or geometry.
De coarse-to-fine besturing van Lucy (eerst een brede instructie, dan inzoomen op positie, kleur, detail) is prompt-granulariteit, geen optische zoom. Het dichtste wat je krijgt bij macro naar micro naar subject is: jij beweegt, Lucy verft mee.Lucy's coarse-to-fine control (a broad instruction first, then drilling into position, colour, detail) is prompt granularity, not optical zoom. The closest you get to macro to micro to subject is: you move, Lucy paints along.
Lucy-Edit-Dev (circa 5B, op Wan2.2) draait probleemloos lokaal op de Blackwell (16 tot 28 GB VRAM), maar is alleen tekst-gestuurd (geen referentiebeeld), offline in batch, en heeft een niet-commerciele licentie.The open weights are not what you want. Lucy-Edit-Dev (about 5B, on Wan2.2) runs easily on the Blackwell locally (16 to 28 GB VRAM), but is text-only (no reference image), offline batch, and carries a non-commercial licence.| ModelModel | TypeType | Live referentiebeeldLive reference image | WaarWhere |
|---|---|---|---|
| Lucy 2.5 | live video naar videolive video to video | ja, midden in de streamyes, mid-stream | cloud (WebRTC) |
| MirageLSD | live diffusie (voorganger)live diffusion (predecessor) | nauwelijks, vooral tekstbarely, mostly text | cloud |
| Krea Realtime 14B | realtime generatie, open (Apache-2.0)realtime generation, open (Apache-2.0) | via prompt/ref, circa 11 fpsvia prompt/ref, about 11 fps | lokaal op de Blackwell (96 GB, Linux/WSL)local on the Blackwell (96 GB, Linux/WSL) |
| StreamDiffusion V2 | realtime pijplijn, open (MLSys 2026)realtime pipeline, open (MLSys 2026) | via ControlNet, ruwervia ControlNet, rougher | lokaal, 58 fps pas op 4x H100local, 58 fps only on 4x H100 |
| Runway / Kling | offline generatieoffline generation | n.v.t. (niet live)n/a (not live) | cloud |
| Odyssey / World Labs | wereldmodelworld model | andere categoriedifferent category | cloud / splatcloud / splat |
Voor live, referentie-gestuurde, lage-latency bewerking is Lucy 2.5 op dit moment het meest afgewerkte product. Wil je het lokaal en EU-veilig, dan is Krea Realtime 14B (Apache-2.0, draait op jouw 96 GB Blackwell onder Linux/WSL) het juiste pad, met lagere framerate en kwaliteit. Twee onafhankelijke research-passes komen op dezelfde conclusie uit.For live, reference-steered, low-latency editing, Lucy 2.5 is currently the most finished product. If you want it local and EU-safe, Krea Realtime 14B (Apache-2.0, runs on your 96 GB Blackwell under Linux/WSL) is the right path, at lower framerate and quality. Two independent research passes reach the same conclusion.
Toen we het hele veld met drie parallelle research-agenten uitkamden, viel het inzicht op zijn plek: de rijen in de tabel hierboven zijn geen zes kandidaten voor één taak, het zijn drie verschillende taken die per ongeluk op elkaar lijken. De vraag of iets ons beter ligt, wordt pas scherp als je ze uit elkaar trekt.When we swept the whole field with three parallel research agents, the insight fell into place: the rows in the table above are not six candidates for one task, they are three different tasks that happen to look alike. The question of whether something suits us better only gets sharp once you pull them apart.
| Lab-taakLab task | Wat je echt wilWhat you actually want | Beste fitBest fit | WaaromWhy |
|---|---|---|---|
| Live installatie / beamerLive installation / projector camera- of schetsfeed realtime restylenrestyle a camera or sketch feed in realtime |
Lokaal, geen netwerk-afhankelijkheid in de zaalLocal, no network dependency in the room | StreamDiffusion V2 (met Krea Realtime 14B ernaast)(with Krea Realtime 14B beside it) | Apache-2.0, expliciete Blackwell-support (mei 2026), gewoon pip install, draait op de kaart die we al hebbenApache-2.0, explicit Blackwell support (May 2026), just pip install, runs on the card we already have |
| Precieze live reference-editPrecise live reference edit de notulist macro naar micro flowthe notulist macro to micro flow |
Trouwe, referentie-gestuurde bewerking van een live feedFaithful, reference-steered editing of a live feed | Lucy 2.5 blijft koploperLucy 2.5 stays ahead | Enige met faithful live reference-conditioning; lokale v2v regenereert de pixels, minder trouwOnly one with faithful live reference conditioning; local v2v regenerates the pixels, less faithful |
| Verkenbare 3D-wereldExplorable 3D world splat-installatiesplat installation |
Realtime navigeerbare scene, lokaal afspeelbaarRealtime navigable scene, played back locally | Marble (splat-export) of Matrix-Game 3.0(splat export) or Matrix-Game 3.0 | Splat draait lokaal realtime, sluit direct aan op onze splat-lijnThe splat runs locally in realtime, plugs straight into our splat line |
Voor het werk dat het meest van jou is (interactieve installatie, beamer, TouchDesigner, de schets die leeft) ligt het lokale open paar beter dan Lucy, om drie redenen die precies onze eigen regels raken.For the work that is most yours (interactive installation, projector, TouchDesigner, the sketch that comes alive), the local open pair suits us better than Lucy, for three reasons that hit our own rules exactly.
pip install streamdiffusionv2, torch 2.11 cu128). Krea Realtime 14B levert een v2v.py met prompt-wissel midden in de generatie. Beide open.Apache-2.0, and it runs on what we own. StreamDiffusion V2 has explicit Blackwell support and the lowest build friction of the whole list (pip install streamdiffusionv2, torch 2.11 cu128). Krea Realtime 14B ships a v2v.py with mid-generation prompt swap. Both open.Policy-noot: StreamDiffusion V2 en Krea leunen op Wan-gewichten (Alibaba, Apache-2.0). Geen juridisch blok, wel Chinese origin, dus onder onze externe-data-wall prima voor installatie-content, niet voor iets met gevoelige IP of input.Policy note: StreamDiffusion V2 and Krea lean on Wan weights (Alibaba, Apache-2.0). No legal block, but Chinese origin, so under our external-data wall fine for installation content, not for anything with sensitive IP or input.
De rij Odyssey / World Labs is geen video-editor maar een wereldmodel, en dat sluit toevallig aan op onze splat- en substrate-lijn. De aanpak die ons het beste ligt is niet live-in-de-cloud genereren, maar: genereer de scene, exporteer de splat, en draai hem daarna volledig lokaal.The Odyssey / World Labs row is not a video editor but a world model, and that happens to plug into our splat and substrate line. The approach that suits us best is not to generate live in the cloud, but: generate the scene, export the splat, then run it fully locally.
Wat af te raden voor een installatie in Nederland: Genie 3 (Google) is US-only, geen API, geen export, niet self-hostbaar. En Odyssey is realtime maar volledig cloud, dus het hangt aan een stabiele lage-latency verbinding op locatie. Voor een galerie is dat een risico dat de lokale paden hierboven niet hebben.What to avoid for an installation in the Netherlands: Genie 3 (Google) is US-only, no API, no export, not self-hostable. And Odyssey is realtime but fully cloud, so it hangs on a stable low-latency link on site. For a gallery that is a risk the local paths above do not carry.
Als het landt: een klein WebRTC-prototype dat één referentiebeeld via set() voedt, naast de Notulist gezet als losse visualisatie-laag, niet erin. Houd waarheid (Notulist: geometrie, schaal, openingen) en verf (Lucy: live stijl) gescheiden.If it lands: a small WebRTC prototype feeding one reference image via set(), placed beside the Notulist as a separate visualization layer, not inside it. Keep truth (Notulist: geometry, scale, openings) and paint (Lucy: live style) separate.
Blijf uit het meet-pad. Voor IP-gevoelig werk gaat er niets naar de cloud tot de dataroute helder is. Gebruik Lucy voorlopig voor niet-gevoelige demo's en beamer-momenten. Voor een volledig lokale, EU-veilige installatie (TouchDesigner) is Krea Realtime 14B op de Blackwell het architectonisch juiste pad, met lagere framerate als prijs.Stay out of the measurement path. For IP-sensitive work nothing goes to the cloud until the data path is clear. Use Lucy for now on non-sensitive demos and projector moments. For a fully local, EU-safe installation (TouchDesigner), Krea Realtime 14B on the Blackwell is the architecturally correct path, at the cost of lower framerate.
pip install streamdiffusionv2, torch 2.11 cu128, WSL2) en meet de echte framerate op 720p, zowel 1.3B als 14B. Dat is de laagste build-frictie van de hele lijst en de enige onbekende die telt. Dan weten we of het lokale pad realtime genoeg is om Lucy voor installaties te vervangen, in plaats van het te schatten.Put StreamDiffusion V2 on the Blackwell (pip install streamdiffusionv2, torch 2.11 cu128, WSL2) and measure the real framerate at 720p, both 1.3B and 14B. That is the lowest build friction of the whole list and the only unknown that matters. Then we know whether the local path is realtime enough to replace Lucy for installations, instead of estimating it.BronnenSources Decart, Lucy 2.5: Raising the Bar for Live AI · API docs, Lucy 2.5 Realtime · pricing · live demo · HF Lucy-Edit-Dev · Lucy-Edit-ComfyUI · MirageLSD · fal Lucy 2.5 realtime API · Krea Realtime 14B.
Lucy-feiten gegrond op twee onafhankelijke research-passes: een web-research pass plus een deep-research run (104 agents, adversariële verificatie). Het landschap (secties 6 tot 8) is toegevoegd op 21 juli 2026 uit drie parallelle web-research-agenten (lokaal-open, cloud video-naar-video, wereldmodellen), elk met bron-URLs en verified-versus-unverified-scheiding. Alle concept-boards: Nano Banana Pro 2.Lucy facts grounded on two independent research passes: a web-research pass plus a deep-research run (104 agents, adversarial verification). The landscape (sections 6 to 8) was added on 21 July 2026 from three parallel web-research agents (local-open, cloud video-to-video, world models), each with source URLs and a verified-versus-unverified split. All concept boards: Nano Banana Pro 2.
Landschap-bronnen: StreamDiffusion V2 · arXiv 2511.07399 (MLSys 2026) · Krea Realtime 14B (HF) · World Labs Marble · Spark 2.0 (lokale splat-render) · Matrix-Game 3.0 · Odyssey · Genie 3 · Wan 2.2.Landscape sources: StreamDiffusion V2 · arXiv 2511.07399 (MLSys 2026) · Krea Realtime 14B (HF) · World Labs Marble · Spark 2.0 (local splat render) · Matrix-Game 3.0 · Odyssey · Genie 3 · Wan 2.2.