CHATGPT sa tradurre? Uno studio ci aiuta a capirlo

“È decisamente la tendenza del momento. Canali social, testate giornalistiche e blog di varia natura, ogni canale di comunicazione parla di ChatGPT”. Due settimane fa presentavamo con queste parole il nostro articolo ChatGPT, intelligenza artificiale e scrittura automatica, senza tuttavia aspettarci un successo tanto clamoroso. Nei giorni trascorsi dalla sua pubblicazione, il chatbot sviluppato da OpenAI ha risposto a migliaia di quesiti, i più quotati sembrano essere quelli relativi ai lavori del futuro. O meglio, quesiti su quali siano i lavori che potrebbero divenire appannaggio esclusivo della tecnologia. Da qui, la domanda odierna: ChatGPT sa tradurre?

Una domanda che spopola su diversi social network, LinkedIn in primis.

Tra post di traduttori scettici e giustamente stanchi di dover difendere la propria professione e visionari decisamente più positivi la questione sembra non trovare risposta. Tuttavia, non è certo la prima volta che l’ultima innovazione tecnologica mette in dubbio la figura del traduttore umano.

Da Google Translate ai sistemi di traduzione automatica più complessi, il traduttore ha sempre saputo adattarsi e sfruttare a proprio vantaggio i cambiamenti. Forte anche della componente umana dei linguaggi naturali, dell’intelligenza emotiva e della sensibilità che solo l’essere umano può garantire.

Da anni ormai i migliori LSP di tutto il mondo, compreso ASTW, hanno fatto dell’interazione uomo-macchina il fondamento del proprio workflow, traendo il meglio da questa sinergia nel rispetto di tutte le figure professionali coinvolte.

Perché adesso dovrebbe essere diverso? È forse questo il quesito da porsi?

Ad ogni modo, ChatGPT, come spesso accade con le ultime invenzioni tecnologiche, ha alimentato i timori di molti, dimostrando di saper fare davvero molte cose, più o meno bene.

Ma ChatGPT sa tradurre?

Per rispondere a una domanda tanto delicata ci serviremo di uno studio condotto dal team AI di Tencent (azienda tech cinese) dal titolo: Is ChatGPT A Good Translator? A Preliminary Study.

Come si legge nell’abstract del report pubblicato dai ricercatori, lo studio “fornisce una valutazione preliminare della traduzione di ChatGPT. Nel documento adottiamo i prompt consigliati da ChatGPT per attivare la sua capacità di traduzione e scopriamo che i prompt candidati generalmente funzionano bene e mostrano differenze di prestazioni minori. Valutando i risultati di una serie di benchmark, scopriamo che ChatGPT si comporta in modo competitivo con i prodotti di traduzione commerciale (ad es. Google Translate) nelle lingue europee ad alte risorse, ma è in ritardo rispetto alle lingue a basse risorse o distanti (N.d.A. famiglie linguistiche diverse). Inoltre, ChatGPT non funziona bene come i sistemi commerciali su abstract biomedici o contenuti di Reddit, ma è potenzialmente un buon traduttore per la lingua parlata”.

Volendo riassumere, il report ha messo alla prova ChatGPT interrogando il chatbot con 12 richieste di traduzioni, in quattro lingue: inglese, cinese, tedesco e rumeno.

Gli output di traduzione sono stati valutati dai ricercatori grazie all’utilizzo di tre benchmark differenti. I risultati sono poi stati confrontati con quelli ottenuti da altri sistemi di traduzione automatica, nello specifico Google Translate, DeepL e Tencent MT.

I punteggi (visionabili al link di inizio paragrafo) messi a confronto con la machine translation sviluppata da Google hanno evidenziato i punti di forza e debolezza.

Le conclusioni dei ricercatori evidenziano come ChatGPT pecchi nella traduzione settoriale e in generale nella traduzione tra due lingue appartenenti a famiglie linguistiche diverse o a basse risorse. Eguaglia invece i sistemi più affermati quando si occupa di lingue europee ad alte risorse, ottenendo ottimi risultati nella lingua parlata.

Quindi, ChatGPT sa tradurre? Sì e no. E sebbene prevedere il futuro di questa AI sia alquanto rischioso, per il momento sembra essere un normale sistema di traduzione automatica, più o meno paragonabile a quelli già esistenti.

Per rispondere in maniera più precisa non ci resta che attendere nuovi sviluppi e nuove ricerche.