Se Facebook Meta ha il metaverso, NVIDIA non è da meno con il suo Omniverso, vero protagonista del keynote del CEO Jensen Huang nel corso della GTC 21. E non ci sono solo avatar in veste di assistenti digitali 2.0, ma anche soluzioni avanzate per l'automotive e la guida autonoma. Come spiega la stessa società americana, "il gap tra realtà e simulazione è appena stato ridotto".

Si chiama Omniverse Replicator, ed è un generatore di dati sintetici per addestrare le reti di intelligenza artificiale e migliorare i sistemi di guida autonoma. Lo strumento di simulazione realizzato da NVIDIA e basato su Omniverse* è denominato DRIVE Sim: i dati (sintetici) da esso generati vengono utilizzati per addestrare le reti neurali "che costituiscono i sistemi di percezione nei veicoli autonomi".

A loro volta, queste reti sono composte da un modello algoritmico e dai dati utilizzati per addestrare il modello stesso. Se sui primi - gli algoritmi - il lavoro è costante e intenso, sui secondi - i dati - si manifestano maggiori difficoltà a causa della loro scarsità nel mondo reale - vuoi per la mancanza di tempo, vuoi anche per gli elevati costi. Da qui l'importanza di sviluppare dati sintetici che vadano ad affiancarsi a (e ad arricchire) quelli reali (solitamente raccolti tramite sensori montati sulle auto in test).

Perché il sistema funzioni correttamente, tuttavia, è necessario che i dati simulati siano il più possibile coerenti con quelli reali. Sono dunque due le tipologie di differenze che si possono avere tra mondo simulato e reale:

• differenze (a livello di pixel) tra immagine simulata e reale
• differenze tra il contesto simulato e quello reale (ad esempio: la strada sporca nel mondo reale deve essere replicata anche in quello simulato, così come traffico, pedoni e le varie interazioni)

Ecco dunque entrare in gioco Omniverse Replicator:

DRIVE Sim sfrutta il renderer del path-tracing RTX di Omniverse per generare dati del sensore per fotocamere, radar, lidar e sensori a ultrasuoni. Gli effetti del mondo reale vengono catturati nei dati del sensore, inclusi fenomeni come lo sfarfallio del LED, la sfocatura del movimento [...].

Il compito di DRIVE Sim è quello di ridurre il più possibile il divario tra mondo reale e mondo simulato sfruttando Omniverse "per connettersi ad un'ampia gamma di strumenti per la creazione di contenuti". Così, Omniverse Replicator "organizza i dati per una rapida manipolazione della scena utilizzando una funzionalità denominata "randomizzazione del dominio"".

NVIDIA fa già uso di questa soluzione per la generazione di dati sintetici (simulati) che hanno a loro volta riprodotto milioni di immagini per l'allenamento della guida autonoma, integrandole con variabili come le condizioni meteorologiche, il traffico, i detriti sulla strada e i pedoni. E il livello di precisione e di dettaglio con cui questi dati simulano una scena è superiore rispetto al mondo reale. Ad esempio, informazioni non visibili all'occhio umano lo sono invece per Omniverse Replicator.