SageMaker AI xgBoost 算法的工作原理

XGBoost 是梯度提升树算法的一种流行且高效的开源实施。梯度提升是一种指导式学习算法，它尝试将一组较简单、较弱的模型的估计值结合在一起，从而准确地预测目标变量。

当将梯度提升用于回归时，弱学习器是回归树，每个回归树将输入数据点映射到一个包含连续分数的叶中。XGBoost 最小化一个正则化 (L1 和 L2) 目标函数 (根据预测和目标输出的差异)，该函数将凸损失函数和模型复杂度的惩罚项 (换言之，回归树函数) 组合起来。训练以迭代的方式进行，从而添加新树来预测先前树的残差或错误，然后再与先前树结合，做出最后的预测。这称为梯度提升，因为它使用梯度下降算法来最小化添加新模型时的损失。

下面是关于梯度树提升工作原理的简要说明。