Il meccanismo di traduzione si basa principalmente su meccanismi legati alle lingue scritte ma quasi la metà delle circa 7.000 lingue conosciute al mondo, quattro su dieci, non hanno una componente scritta. Così, queste lingue non scritte rappresentano un problema per i moderni sistemi di traduzione ad apprendimento automatico, che in genere convertono il parlato in parole scritte prima di tradurre nella nuova lingua e riportare il testo al parlato.
Nell’ambito del programma Universal Speech Translator (UST) di Meta, che sta lavorando per sviluppare la traduzione vocale in tempo reale in modo che gli utenti del metaverso possano interagire più facilmente, i ricercatori hanno analizzato l’Hokkien, una lingua non scritta parlata in tutta l’Asia e una delle lingue ufficiali di Taiwan.
I sistemi di traduzione automatica richiedono in genere ampi esempi etichettabili della lingua, sia scritta che parlata, su cui allenarsi – proprio ciò che le lingue non scritte come l’Hokkien non hanno.
Per ovviare a questo problema il CEO Mark Zuckerberg ha spiegato che “è stata utilizzata la traduzione da voce a unità (S2UT) per convertire il parlato in ingresso in una sequenza di unità acustiche direttamente nel percorso precedentemente sperimentato.” E “Poi abbiamo generato forme d’onda dalle unità. Inoltre, UnitY è stato adottato per un meccanismo di decodifica a due passaggi in cui il primo decodificatore genera testo in una lingua correlata (il mandarino) e il secondo decodificatore crea unità“.
“Abbiamo sfruttato il mandarino come lingua intermedia per costruire pseudo-etichette, traducendo prima il parlato inglese (o hokkien) in testo mandarino e poi traducendolo in hokkien (o inglese) e aggiungendolo ai dati di addestramento“, ha proseguito.
Attualmente, il sistema consente a chi parla Hokkien di conversare con chi parla inglese, anche se in modo non fluido. Il modello è in grado di tradurre solo una frase completa alla volta, ma Zuckerberg è fiducioso che la tecnica possa essere applicata a un numero maggiore di lingue e che possa migliorare fino a offrire una traduzione in tempo reale.
Meta renderà disponibili le informazioni per incoraggiare altri ricercatori a lavorare alla traduzione orale dell’hokkien.
