završni rad (sveučilišni)
Reprezentativno učenje u obradi prirodnog jezika
Sažetak
Obrada prirodnog jezika postaje sve aktivnijim područjem istraživanja. Razvoj tehnika reprezentativnog učenja od lokalnih do distribuiranih reprezentacija omogućio je tehnologijama obrade prirodnog jezika bolje razumijevanje semantičkog značenja i konteksta riječi i rečenica na prirodnim jezicima. Veliki napredak ostvaren je dvosmjernim treniranjem modela transformera čija je izvedba prikazana u ovom radu vizualizacijom skupa podataka IMDB recenzija na hrvatskom i engleskom jeziku.
Ključne riječi
obrada prirodnog jezika, reprezentativno učenje, lokalna reprezentacija, distribuirana reprezentacija, transformeri, BERT