Tras-eantrópacht

Matamaitic na héiginnteachta

Cuir i gcás gurb í p an fhíordháileadh atá ann, ach gur samhail dhifriúil, q, a úsáideann tú chun torthaí a ionchódú. Sin é a thomhaiseann an tras-eantrópacht: an t-iontas meánach a íocann tú i ndáiríre. Tomhaistear an t-iontas de réir do shamhla féin, q, ach cuirtear ar an meán é de réir chomh minic agus a tharlaíonn rudaí i ndáiríre faoin bhfíordháileadh p:

Roinneann sí ina dhá chuid a bhfuil brí leo: an eantrópacht dhosheachanta a bhaineann leis an bhfírinne, móide pionós as an tsamhail mhícheart a úsáid — sin í an éagsúlacht KL (an chéad cheacht eile):

Ós rud é go bhfuil H(p) socraithe cheana féin ag na sonraí, is ionann an tras-eantrópacht a íoslaghdú thar do shamhail agus an éagsúlacht KL a íoslaghdú — rud a bhrúann q i dtreo p. Agus bíonn an tras-eantrópacht i gcónaí chomh mór ar a laghad le H(p); ní bhíonn siad comhionann ach amháin nuair a bhíonn q = p.

Cá bhfeictear é seo in MLOscail beagnach aon aicmitheoir nó samhail teanga, agus is é atá sa chiseal deiridh ná softmax, agus caillteanas tras-eantrópachta ina dhiaidh sin. Nuair a íoslaghdaítear é sin, is é atá i gceist go beacht ná meastachán na dóchúlachta uasta: is í −log q(fíor), suimithe thar na sonraí, an loga-dóchúlacht dhiúltach. Nuair a oiltear líonra chun an chéad chomhartha eile a thuar, is í an…
▶ Tras-eantrópacht
← EantrópachtÉagsúlacht KL →