Последовательности — Математический анализ I

Последовательность — упорядоченный, бесконечный список чисел: первый член, второй, третий и так далее вечно. Член на позиции n записываем как aₙ, так что весь список — a₁, a₂, a₃, … Маленький индекс n — просто метка позиции: член номер 1, член номер 2, член номер 7.

Обычно последовательность поставляется с правилом, сообщающим член в любой позиции. Подставьте позицию — получите число. Поэтому последовательность — это функция, чьи входы — натуральные числа 1, 2, 3, …

Представьте себе сберегательный счет, баланс которого фиксируется раз в месяц: первое показание, второе, третье и так далее до бесконечности. Этот упорядоченный список ежемесячных балансов как раз и представляет собой последовательность, где aₙ означает баланс в месяце n. Если каждый месяц ваш баланс понемногу приближается к целевой сумме, на которую вы копите, то последовательность стремится к этой цели — своему пределу.

Где это встречается в MLВеса нейросети во время обучения образуют последовательность: w₀, w₁, w₂, … — по одной записи на шаг оптимизации. Когда говорят, что обучение «сходится», имеют в виду, что эта последовательность весов оседает на пределе. Когда говорят, что «расходится» (часто из-за слишком большой скорости обучения), имеют в виду картину взрыва: члены растут вместо оседания.