Критични точки — Изчисление I

За да намерите върховете и спадовете на дадена функция (нейните максимуми и минимуми), търсите точките, в които графиката е „плоска“. На върха на хълм или на дъното на долина допирателната е хоризонтална, така че наклонът е нула. Това са критичните точки.

Като приравните f′(x) = 0 и решите уравнението, получавате възможните места. Това е необходимо условие за гладък връх или падина, но не е напълно достатъчно, тъй като плоското място може да бъде и моментно спиране (седловина). Видът на точката се потвърждава чрез проверка.

Представете си поход през хълмове. Докато се изкачвате към върха на хълм, земята се накланя нагоре под ботушите ви; докато се спускате в долина, тя се накланя в другата посока. Точно на самия връх на хълма или в най-ниската точка на дъното на долината, земята е за момент плоска, наклонът е нула. Тези плоски места са точно критичните точки, които търсите.

Къде се използва това в MLОбучението на модел минимизира функцията на загубата, а минимумът е там, където градиентът е нула: това е точно условието за критична точка, обобщено за много променливи (∇L = 0). Градиентното спускане е числено търсене на такова плоско място. В пространствата с много измерения повечето критични точки са седлови точки, а не истински минимуми, поради което оптимизацията в дълбокото обучение (deep…