Al Mobile World Congress 2019 il gruppo BMW presenta la BMW Natural Interaction, un sistema di interazione uomo-macchina che combina la tecnologia di comando vocale con i controlli gestuali e il riconoscimento facciale. BMW parla di "totale multimodalità" nella gestione delle funzioni di bordo di un'auto, anticipando un sistema che troveremo per la prima volta sul SUV elettrico BMW iNEXT dal 2021 (il prototipo, già visto CES di Las Vegas, è esposto anche allo stand di Barcellona insieme a BMW Serie 3, protagonista con l'assistente vocale Intelligent Personal Assistant).

Voce, gesti e sguardo, contemporaneamente e in varie combinazioni, per interagire con il proprio veicolo: questa l'idea del futuro della guida secondo BMW. Non serve specificare la modalità di funzionamento preferita: la vettura risponderà semplicemente ai nostri input, variabili in base alla situazione e al contesto. Attraverso il rilevamento preciso dei movimenti delle mani e delle dita, la direzione e il tipo di gesto viene registrata per la prima volta in uno spazio di interazione esteso che comprende l'intero ambiente operativo del conducente. Le istruzioni vocali sono registrate ed elaborate utilizzando la comprensione del linguaggio naturale. Un algoritmo di apprendimento intelligente, costantemente perfezionato, combinerà e interpreterà le informazioni complesse in modo che il veicolo possa rispondere di conseguenza.

Sarà il conducente a decidere in che modo interagire con l'auto deve interagire, in base alle proprie preferenze personali, alle proprie abitudini o alla situazione attuale. Se è impegnato in una conversazione, il conducente probabilmente sceglierà il controllo con gesti e sguardi; quando gli occhi sono sulla strada, meglio affidarsi alla parola e ai gesti.

In questo modo, ad esempio, i finestrini dell'auto o il tetto possono essere aperti o chiusi, le prese d'aria regolate o una selezione effettuata sul Control Display. Se il conducente vuole saperne di più sulle funzioni del veicolo, può anche puntare ai pulsanti e chiedere cosa fanno.

Grazie alla connessione a internet, conducente e passeggeri saranno in grado di interagire con i loro dintorni diretti, come edifici o parcheggi. Anche domande complesse possono essere risolte rapidamente e facilmente puntando un dito ed emettendo un comando vocale. "Cos'è questo edificio? Qual è l’orario di apertura di questa attività? Come si chiama questo ristorante? Posso parcheggiare qui e quanto costa?"

Tutto questo funziona grazie a tecnologie migliorate dei sensori e dell’analisi. Usando la tecnologia a infrarossi, la telecamera dedicata ai gesti può ora acquisire movimenti di mani e dita in tre dimensioni, nell'intero ambiente operativo del conducente e determinare un vettore direzionale preciso. Ad esempio, puntare l'indice sul Control Display e dare un comando vocale è sufficiente per iniziare l'operazione desiderata senza toccare lo schermo.

La telecamera ad alta definizione integrata nel quadro strumenti registra anche la direzione della testa e degli occhi. Per interpretare le istruzioni vocali in modo rapido e affidabile oltre ai gesti, le informazioni trasmesse dal guidatore al veicolo in un modo multimodale vengono combinate e valutate con l'aiuto dell'intelligenza artificiale. L'algoritmo responsabile dell'interpretazione dei dati in-car viene continuamente ottimizzato e perfezionato utilizzando l'apprendimento automatico e la valutazione di diversi scenari operativi.