Een nieuwe dimensie in kunstmatige intelligentie

Terwijl de meeste AI-systemen zich focussen op tekst en 2D-beelden, zet World Labs een stap verder met Marble. Dit innovatieve world model creëert volwaardige 3D-omgevingen vanuit simpele inputs zoals tekstprompts, foto’s of zelfs korte video’s. Het is de eerste commerciële toepassing van spatial intelligence, een concept dat machines leert om de fysieke wereld te begrijpen zoals mensen dat doen.

Marble is het geesteskind van Fei-Fei Li, een pionier in AI-onderzoek die eerder meewerkte aan ImageNet, de database die deep learning een enorme boost gaf. Na een sabbatical van Stanford richtte ze World Labs op met een duidelijke missie: AI leren om niet alleen te praten over de wereld, maar deze ook echt te begrijpen in drie dimensies.

Hoe werkt Marble eigenlijk?

Het mooie aan Marble is de veelzijdigheid. Je kan op verschillende manieren 3D-werelden genereren, afhankelijk van hoeveel controle je wil hebben over het eindresultaat. De eenvoudigste methode is een tekstprompt of enkele foto ingeven. Marble analyseert deze input en bouwt er een volledige 360-graden omgeving rond, compleet met diepte, texturen en ruimtelijke samenhang.

Wil je meer precisie? Dan kan je meerdere foto’s of een korte video uploaden die dezelfde ruimte vanuit verschillende hoeken tonen. Marble combineert deze perspectieven tot één coherente 3D-wereld. Dit opent interessante mogelijkheden voor wie bijvoorbeeld een bestaande locatie wil digitaliseren of een specifieke sfeer wil vastleggen.

Voor de echte perfectionisten is er Chisel, een experimentele 3D-editor waarmee je de grove structuur van je wereld kan uitstippelen met basiselementen zoals muren, dozen en vlakken. Voeg daar een tekstprompt aan toe voor de visuele stijl, en Marble vult de details in. Het is vergelijkbaar met hoe HTML de structuur van een website bepaalt en CSS de opmaak verzorgt.

Bewerkingsmogelijkheden die het verschil maken

Wat Marble onderscheidt van andere world models is de mogelijkheid om gegenereerde werelden achteraf nog aan te passen. Je kan objecten verwijderen, toevoegen of verplaatsen, de visuele stijl volledig omgooien of specifieke zones bijwerken. Deze iteratieve aanpak sluit perfect aan bij creatieve workflows, waar het eerste resultaat vaak het startpunt is voor verdere verfijning.

Een handige functie is world expansion. Als je merkt dat een bepaald deel van je gegenereerde wereld wat vaag oogt, kan je dat gebied selecteren en Marble laten uitbreiden met extra detail. Voor wie echt grote omgevingen wil bouwen, is er composer mode: hiermee combineer je meerdere afzonderlijke werelden tot één gigantische ruimte.

Waar gebruik je Marble voor?

De toepassingen van Marble zijn breed. In de game-industrie kunnen ontwikkelaars achtergrondwerelden en omgevingsassets genereren die ze vervolgens importeren in engines zoals Unity of Unreal Engine. Het vervangt niet de volledige pipeline, maar versnelt wel het proces van asset creation aanzienlijk.

Voor filmmakers en VFX-artiesten biedt Marble een oplossing voor een veelvoorkomend probleem met AI-videogeneratoren: inconsistentie en beperkte cameracontrole. Omdat Marble echte 3D-assets creëert, kan je scènes opbouwen en camerabeweging met frame-perfecte precisie bepalen. Je exporteert de wereld als video met exact de shots die je voor ogen had.

De VR-industrie toont ook grote interesse. Marble-werelden zijn compatibel met headsets zoals de Vision Pro en Quest 3, en kunnen direct in virtual reality bekeken worden.

Robotica en spatial intelligence

Een minder voor de hand liggende maar potentieel revolutionaire toepassing ligt in robotica. Robots trainen vereist enorm veel data, maar die is schaars in vergelijking met tekst- of beelddatabases. Met Marble kunnen onderzoekers eindeloos veel trainingsomgevingen simuleren, wat de ontwikkeling van spatial intelligence voor robots drastisch kan versnellen.

Spatial intelligence gaat over het begrijpen van fysieke concepten die mensen intuïtief aanvoelen: hoe je een auto parkeert zonder de stoeprand te raken, hoe je een voorwerp vangt dat naar je gegooid wordt, of hoe je inschat hoeveel ruimte een meubel inneemt. Voor AI-systemen die in de echte wereld moeten functioneren, is dit soort begrip essentieel.

Wat maakt Marble uniek?

Andere bedrijven zoals Google DeepMind met Genie en Nvidia met Cosmos werken ook aan world models, maar Marble heeft enkele onderscheidende kenmerken. Ten eerste creëert het persistente, downloadbare 3D-omgevingen in plaats van werelden die on-the-fly gegenereerd worden terwijl je ze verkent. Dit resulteert in minder vervormingen en inconsistenties.

Ten tweede biedt Marble uitgebreide exportmogelijkheden. Je kan werelden exporteren als Gaussian splats (de hoogste kwaliteit), triangle meshes (voor interoperabiliteit met standaard 3D-tools) of als video. Enhanced video’s voegen zelfs dynamische elementen toe terwijl de structuur van de 3D-wereld behouden blijft.

De multimodale aanpak is ook opmerkelijk. Waar veel AI-tools zich beperken tot één type input, accepteert Marble tekst, enkele beelden, meerdere beelden, video, panorama’s en zelfs grove 3D-layouts. Deze flexibiliteit geeft gebruikers veel vrijheid in hoe ze hun creatieve proces vormgeven.

De technologie achter de schermen

Marble gebruikt Gaussian Splatting, een techniek waarbij 3D-scènes worden voorgesteld als een grote verzameling semi-transparante deeltjes. Dit levert fotorealistische resultaten op die je kan renderen in de browser met Spark, World Labs’ open-source renderer die werkt met de 3D library Three.js.

Het model is getraind om niet alleen visuele details te genereren, maar ook ruimtelijke relaties te begrijpen. Het weet dat een tafel een horizontaal oppervlak heeft waar dingen op kunnen staan, dat muren verticaal zijn en kamers begrenzen, en dat objecten niet door elkaar heen kunnen. Deze fundamentele fysische kennis maakt de gegenereerde werelden geloofwaardig en bruikbaar.

Beschikbaarheid en prijzen

Marble is beschikbaar via vier abonnementsformules. De gratis versie geeft je vier generaties vanuit tekst, beeld of panorama. Voor twintig dollar per maand krijg je met Standard twaalf generaties plus multi-image/video input en geavanceerde bewerkingstools. Het Pro-abonnement (35 dollar) biedt 25 generaties met scene expansion en commerciële rechten. De Max-tier kost 95 dollar en geeft toegang tot alle features en 75 generaties per maand.

World Labs heeft sinds de oprichting 230 miljoen dollar opgehaald van investeerders zoals Andreessen Horowitz, NEA en Radical Ventures. Ook prominente figuren uit de tech-wereld zoals Geoffrey Hinton, Eric Schmidt en Marc Benioff steunen het project.

De toekomst van world models

Volgens Fei-Fei Li is Marble pas het begin. Haar visie strekt zich uit tot AI-systemen die niet alleen 3D-werelden kunnen genereren, maar er ook actief mee kunnen interageren. Toekomstige versies zouden zowel mensen als AI-agents moeten laten experimenteren binnen gegenereerde omgevingen, wat nieuwe mogelijkheden opent voor simulatie, wetenschappelijk onderzoek en geneeskunde.

Praktische overwegingen

Zoals bij elke nieuwe technologie zijn er ook beperkingen. Marble heeft momenteel moeite met buitenomgevingen en gestileerde scènes. De kwaliteit kan variëren afhankelijk van de complexiteit van de prompt en het type omgeving dat je probeert te genereren. Gebruikers melden dat werelden soms aan de randen kunnen vervormen, hoewel dit volgens World Labs verbeterd is sinds de bèta.

In de game-industrie bestaat ook scepsis over generatieve AI. Een recente enquête toonde dat een derde van de ontwikkelaars gelooft dat generatieve AI een negatieve impact heeft op de sector, met zorgen over intellectueel eigendom, energieverbruik en kwaliteitsverlies. Marble positioneert zich echter niet als vervanging van bestaande workflows, maar als aanvulling die specifieke taken versnelt.

Voor wie geïnteresseerd is om zelf aan de slag te gaan: Marble is nu publiek beschikbaar via marble.worldlabs.ai.