Квадратичные формы

Геометрия и алгебра линейных отображений, векторов и матриц

Квадратичная форма xᵀAx берёт вектор и возвращает число, меняющееся квадратично по x — матричный аналог ax². Когда x пробегает все направления, это число вычерчивает поверхность, а матрица A (симметричная) определяет форму этой поверхности.

Её собственные значения — кривизны вдоль собственных осей, а их знаки полностью классифицируют поверхность. Все положительные: чаша, открытая вверх (положительно определённая) с чистым минимумом. Все отрицательные: купол (отрицательно определённая) с максимумом. Смешанные знаки: седло (неопределённая), вверх в одних направлениях, вниз в других.

Переключайте знаки собственных значений на фигуре и наблюдайте, как поверхность морфирует между чашей, куполом и седлом.

Где это встречается в MLКвадратичная форма δᵀHδ — член второго порядка в разложении Тейлора функции потерь; она и есть локальная кривизна. Положительно определённый гессиан означает локальный минимум (чаша); неопределённый — седло, которыми усеяны поверхности потерь высокой размерности. Этот анализ кривизны управляет оптимизаторами второго порядка (метод Ньютона) и объясняет, почему обучение уходит от сёдел, а не…
▶ Квадратичные формы
← ПроекцииВекторы и геометрия Rⁿ →