Как моделите наистина се учат — от обикновено градиентно спускане до Adam
Оптимизацията може да се провали, преди изобщо да е започнала, ако началният мащаб е грешен. Ако теглата са твърде малки, сигналите и градиентите могат да изчезнат. Ако теглата са твърде големи, активациите и градиентите могат да експлодират или да се насищат.
🔒 This is a Pro lesson — the interactive figure, worked examples, quiz and practice open with Pro access.
▶ Инициализация и мащаб на сигнала