Hur fungerar självuppmärksamhet?
Hur fungerar självuppmärksamhet?

Video: Hur fungerar självuppmärksamhet?

Video: Hur fungerar självuppmärksamhet?
Video: Vad som fångar andras uppmärksamhet - lär dig psykologin bakom 2024, November
Anonim

I lekmannatermer, den själv - uppmärksamhet mekanism låter ingångarna interagera med varandra (“ själv ”) och ta reda på vem de ska betala mer uppmärksamhet till (“ uppmärksamhet ”). Utgångarna är aggregat av dessa interaktioner och uppmärksamhet poäng.

Dessutom, vad är självuppmärksamhet?

Själv - uppmärksamhet , ibland kallad intra- uppmärksamhet är en uppmärksamhet mekanism som relaterar olika positioner av en enda sekvens för att beräkna en representation av sekvensen.

Dessutom, vad är självuppmärksamhet i djupinlärning? Låt oss först definiera vad " själv - Uppmärksamhet " är. Cheng et al, i sin artikel som heter "Long Short-Term Memory-Networks for Maskin Läsning”, definieras själv - Uppmärksamhet som mekanismen för att relatera olika positioner i en enda sekvens eller mening för att få en mer levande representation.

Angående detta, vad är uppmärksamhetsmekanismen?

Uppmärksamhetsmekanism tillåter avkodaren att ta hand om olika delar av källsatsen vid varje steg av utdatagenereringen. Istället för att koda inmatningssekvensen till en enda fast kontextvektor låter vi modellen lära sig hur man genererar en kontextvektor för varje utmatningstidssteg.

Vad är en uppmärksamhetsbaserad modell?

Uppmärksamhet - baserade modeller tillhör en klass av modeller vanligen kallad sekvens-till-sekvens modeller . Syftet med dessa modeller , som namnet antyder, för att producera en utgångssekvens givet en ingångssekvens som i allmänhet är av olika längd.

Rekommenderad: