Последователности — Изчисление I

Последователност е подреден, безкраен списък от числа: първи член, втори, трети и така нататък до безкрайност. Записваме члена на позиция n като aₙ, така че целият списък е a₁, a₂, a₃, … Малкият долен индекс n просто указва позицията — член номер 1, член номер 2, член номер 7.

Обикновено последователността се задава с правило, което определя члена на всяка позиция. Задавате позиция и получавате число. Това на практика прави последователността функция, чиито входни данни са естествените числа 1, 2, 3, …

Представете си спестовна сметка, където балансът се записва веднъж месечно: първото отчитане, второто, третото и така нататък завинаги. Този подреден списък от месечни баланси е точно числова редица, като aₙ означава баланса в месец n. Ако всеки месец вашият баланс се доближава малко повече до целта, за която спестявате, редицата се установява на тази цел — нейната граница.

Къде се използва това в MLТеглата на невронната мрежа по време на обучение образуват последователност: w₀, w₁, w₂, … — по едно тегло на всяка стъпка от оптимизацията. Когато се казва, че обучението „конвергира“, се има предвид, че тази последователност от тегла клони към граница. Когато се казва, че то „дивергира“ (често защото скоростта на обучение е била твърде висока), се има предвид ситуацията, при която стойностите…