Kako deluje Google prevajalnik?

Prevajalnik omogoča avtomatsko prevajanje iz izvornega v ciljni jezik.

Sestavljen je iz treh nevronskih mrež – kodirnika (encoder), dekodirnika (decoder) in mehanizma pozornosti (attention).

Kodirnik najprej prebere vaš tekst in ga zakodira v vektorsko obliko. S pomočjo povratne nevronske mreže (RNN) s postopkom povratnega učenja (backpropagation) izdela natančen jezikovni model. Beseda je vektor, ki v več 100 dimenzijah odraža različne kontekste in pomene posamezne besede. Stavek pa je matrika, ki jo sestavljajo vektorji vseh besed v stavku.

Dekodirnik poskuša najti funkcijo, ki to matriko oz. stavek izvornega jezika prevede v matriko ciljnega jezika. Da bi našel funkcijo, ki prevaja iz npr. slovenščine v angleščino je potreben dolgotrajen trening (več tednov) pri katerem si pomaga z dvojezičnim korpusom prevodov. S postopkom povratnega učenja napako postopoma zmanjšuje, prevodi pa so vedno bolj natančni. Modul pozornosti mu pomaga pri izbiri najboljših kandidatov oz. besed in poveča kvaliteto prevodov ter hitrost prevajanja.

Leta 2017 je Google razvil nov tip NMT prevajalnika – t.i. transformer model, ki za vrhunske rezultate potrebuje samo še pozornost. V enem od najbolj citiranih člankov – Attention Is All You Need – so dosegli vrhunske rezultate in postavili nov standard. Danes tako vsi sodobni prevajalniki temeljijo na transformer arhitekturi.