Kritische Punkte

Eindimensionale Analysis aus ersten Prinzipien

Um die Gipfel und Täler einer Funktion (ihre Maxima und Minima) zu finden, suchen Sie nach den flachen Stellen. Auf dem Gipfel eines Hügels oder am Grund eines Tals ist die Tangente waagerecht, ihre Steigung ist also null. Das sind die kritischen Punkte.

f′(x) = 0 zu setzen und aufzulösen liefert die in Frage kommenden Stellen. Das ist eine notwendige Bedingung für einen glatten Gipfel oder ein glattes Tal, aber nicht ganz hinreichend, denn eine flache Stelle könnte auch eine kurze Pause sein (ein sattelartiger Wendepunkt). Welcher Typ vorliegt, bestätigen Sie mit einem Test.

Stelle dir eine Wanderung über sanfte Hügel vor. Während du auf eine Hügelkuppe steigst, neigt sich der Boden unter deinen Stiefeln nach oben; während du in ein Tal hinabgehst, neigt er sich in die andere Richtung. Genau auf der Spitze einer Hügelkuppe oder am tiefsten Punkt eines Talbodens ist der Boden kurzzeitig flach, die Steigung ist null. Diese flachen Stellen sind genau die kritischen Punkte, nach denen du suchst.

Wo das im ML vorkommtEin Modell zu trainieren bedeutet, einen Loss zu minimieren, und das Minimum liegt dort, wo der Gradient null ist: genau die Bedingung für kritische Punkte, verallgemeinert auf viele Variablen (∇L = 0). Der Gradientenabstieg ist eine numerische Suche nach dieser flachen Stelle. In hohen Dimensionen sind die meisten kritischen Punkte Sattelpunkte und keine echten Minima, weshalb die Optimierung im…
▶ Kritische Punkte
← Höhere AbleitungenZweite Ableitungskriterium →