Как модели на самом деле обучаются — от обычного градиентного спуска до Adam
Рельеф функции потерь — это форма L(θ) в пространстве параметров. Для нейронных сетей это высокоразмерная и невыпуклая поверхность: у неё есть широкие плоские участки, резко изогнутые участки, седловые точки, которые в одних направлениях поднимаются, а в других опускаются, и множество отдельных областей с низкой потерей, которые часто оказываются связанными между собой.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Рельеф функции потерь