Un bosque aleatorio (Random Forest) es un algoritmo de aprendizaje automático ampliamente utilizado, basado en la combinación de múltiples árboles de decisión cuyos resultados se agregan mediante promedio (en problemas de regresión) o votación (en clasificación).

 

La diferencia principal entre Random Forest y XGBoost reside en la técnica para combinar los modelos base. Random Forest utiliza bagging (bootstrap aggregating), que consiste en construir múltiples árboles de decisión de forma independiente a partir de subconjuntos aleatorios del conjunto de datos, para luego combinar sus predicciones mediante votación o promedio. Por su parte, XGBoost emplea boosting, generando árboles secuencialmente, donde cada nuevo árbol intenta corregir los errores cometidos por los anteriores, mejorando así el modelo progresivamente.

 

Un árbol de decisión es un algoritmo de aprendizaje supervisado con estructura jerárquica, formado por un nodo raíz, nodos internos y nodos hoja. Su aprendizaje se basa en una estrategia de "divide y vencerás", buscando en cada división el atributo más relevante para separar los datos. Esta partición se realiza de forma recursiva desde la raíz hasta las hojas, clasificando finalmente los registros en etiquetas de clase específicas.

 

Una de las principales desventajas de los árboles de decisión es su tendencia al sobreajuste. Para mitigar este problema, se emplea generalmente la técnica de poda, que consiste en eliminar aquellas ramas que dividen los datos según características de baja relevancia. La evaluación del ajuste del modelo resultante puede realizarse mediante validación cruzada, lo cual permite estimar su capacidad de generalización.