Adam

Conas a fhoghlaimíonn samhlacha i ndáiríre, ó ghnáth-shliocht grádán go Adam

Cuireann Adam dhá smaoineamh le chéile: móiminteam don ghrádán meánach, agus athscálú ar stíl RMSProp don ghrádán cearnaithe meánach. Ceartaíonn sé ansin laofacht luath, mar go dtosaíonn na meáin ghluaisteacha sin ag nialas.

Fágann an teaglaim sin gur rogha thosaigh choitianta é Adam sa domhainfhoghlaim, go háirithe nuair a bhíonn grádáin torannach agus scálaí an-difriúil ag paraiméadair.

Is féidir le hinneall uath-mharaithe dhá ionstraim a úsáid ag an am céanna. Léiríonn ceann amháin treo meánach seachráin an eitleáin. Léiríonn an ceann eile cé chomh suaite is a bhí an treo sin. Úsáideann Adam an smaoineamh céanna: bog leis an seachrán buanseasmhach, ach athscálaigh an ghluaiseacht de réir na suaite le déanaí. San fhíor is féidir leat leath an mhóiminteam d'Adam a fheiceáil go díreach: ardaigh β agus trá an preabadh. Cuireann Adam cleas amháin eile sa bhreis air sin, ag roinnt chéim gach comhordanáide ar scála grádáin na comhordanáide sin féin le déanaí.

Cá bhfeictear é seo in MLIs coitianta é AdamW, an leagan de Adam a scaoileann meath meáchain amach ar leithligh, do thraschodóirí agus do go leor samhlacha nua-aimseartha. Fanann an bunsamhail chéanna: móiminteam san uimhreoir, scála oiriúnaitheach san ainmneoir.
▶ Adam
← RMSPropSliocht Grádán Stocach agus Mionbhaisce →