Inferencia, estimación y toma de decisiones a partir de datos
Hasta ahora, la estadística ha estado principalmente centrada en promedios y asintóticos. Las desigualdades de concentración plantean una pregunta más precisa y finita: ¿cuán probable es que una cantidad aleatoria se encuentre lejos de su media? Sus respuestas son la base matemática de por qué el aprendizaje automático puede ofrecer garantías en absoluto.
La más básica, que requiere solo una variable no negativa y su promedio, es la desigualdad de Markov:
Dice que una variable no negativa no puede ser a menudo muchas veces su promedio. Si el promedio es pequeño, los valores grandes deben ser raros. Cruda, pero necesita casi nada.
Dónde aparece en el MLLa cota de Hoeffding es el corazón de la teoría de generalización: es la razón por la cual el error medido en un conjunto de prueba finito de un modelo se puede probar que está cerca del verdadero error, con alta probabilidad, la justificación formal para confiar en una puntuación de prueba. Esto es el motor de el aprendizaje PAC ("Probablemente Aproximadamente Correcto"): con suficientes…