XGBoost (Extreme Gradient Boosting) es un algoritmo supervisado de predicción que se basa en el principio del boosting y se considera uno de los métodos más eficaces y precisos en el ámbito del aprendizaje automático. El boosting consiste en generar una secuencia de modelos débiles —habitualmente árboles de decisión—, donde cada modelo se entrena para corregir los errores del anterior. El resultado es un modelo agregado con mayor capacidad predictiva y estabilidad.

 

Para reforzar estos modelos débiles, XGBoost emplea una técnica de optimización basada en el descenso del gradiente (Gradient Descent). Durante el entrenamiento, los parámetros de cada modelo se ajustan de manera iterativa con el fin de minimizar una función objetivo. Dicha función puede estar asociada a métricas como el error de clasificación, el área bajo la curva ROC (AUC), la raíz del error cuadrático medio (RMSE), entre otras. Cada iteración produce un nuevo modelo que se compara con el anterior: si mejora los resultados, se utiliza como base para las siguientes iteraciones; en caso contrario, se ajusta de forma alternativa. Este proceso continúa hasta que se alcanza un criterio de convergencia —por ejemplo, cuando la mejora entre iteraciones es insignificante— o se cumple el número máximo de iteraciones especificado.

 

En cuanto a la estructura base de XGBoost, esta se compone de árboles de decisión, los cuales son algoritmos de aprendizaje supervisado organizados jerárquicamente. Están formados por un nodo raíz, nodos internos y nodos hoja, y funcionan bajo la estrategia de "divide y vencerás", identificando iterativamente el atributo más relevante para dividir los datos. Esta partición recursiva continúa hasta que los registros quedan clasificados dentro de clases específicas.

 

Una de las desventajas inherentes a los árboles de decisión es la tendencia al sobreajuste (overfitting), lo cual puede reducir la capacidad de generalización del modelo. Para mitigar este problema, se emplea la técnica de poda (pruning), que elimina ramas que aportan poca relevancia predictiva. La efectividad del modelo ajustado puede evaluarse mediante validación cruzada, una técnica que permite estimar el rendimiento real del modelo en datos no vistos.

 

Entre los principales algoritmos de árboles de decisión utilizados se encuentran ID3 (Iterative Dichotomiser 3), C4.5 y CART (Classification and Regression Trees), cada uno con criterios distintos para la selección de atributos y la construcción de árboles.

​

​

​