Hoe modellen daadwerkelijk leren, van gewone gradient descent tot Adam
Early stopping gebruikt validatieprestaties om te beslissen wanneer training moet stoppen. Als het validatieverlies lang genoeg niet verbetert, bewaar je het beste checkpoint en stop je. Voortgang wordt hier geteld in epochs: één epoch is één volledige doorgang door de trainingsdata, en validatie wordt meestal na elke epoch gecontroleerd.
Dit is zowel een rekenbesparing als een regularizer. Het voorkomt dat het model de trainingsset blijft fitten nadat de validatieprestaties al zijn begonnen te verslechteren.
Een broodrooster geeft het juiste instinct. Het brood te vroeg eruit halen laat het bleek. Te lang wachten verbrandt het. Je houdt de toast in de gaten en stopt zodra hij de beste kleur bereikt, niet zodra het verwarmingselement zo lang mogelijk heeft gedraaid. De figuur hieronder toont waar de "kijk"-data vandaan komt: houd een deel van de trainingsdata apart, of roteer vouwen zoals getoond, zodat het model beoordeeld wordt op voorbeelden die het nooit gefit heeft. Early stopping leest zijn signaal precies uit die achtergehouden schijf.