决策树/树桩与Adaboost

Decision trees / stumps with Adaboost

本文关键字:Adaboost 决策树      更新时间:2023-10-16

我刚开始用Adaboost学习决策树,正在OpenCV上试用,但有一些问题。

增强的决策树

我知道,当我将Adaboost与决策树一起使用时,我会不断地将决策树与训练数据的重新加权版本相匹配。通过加权多数票进行分类

在使用Adaboost训练决策树时,我可以使用Bootstrapping吗?即,在将分类器输入Adaboost之前,我们选择数据集的子集并在每个子集上训练树。

决策失误

我对决策失误也使用同样的技巧吗?或者我可以创建与特征数量相等的树桩吗?也就是说,如果我有两个具有10个特征的类,在将分类器输入Adaboost之前,我为每个特征创建总共10个决策Stumps。

AdaBoost不仅在不同的子集上训练分类器,还根据达到的组装性能调整数据集元素的权重。详细描述可在此处找到。

是的,你可以使用同样的技术来训练决策树桩。算法大致如下:

  1. 在没有权重的初始数据集上训练决策桩(与权重为1的每个元素相同(
  2. 使用AdaBoost算法中的公式更新所有元素的权重。正确分类的元素的权重应该变小,错误分类的元素权重应该变大
  3. 使用当前权重训练决策桩。也就是说,不仅要最小化这个决策墩犯下的错误数量,还要最小化错误权重的总和
  4. 如果没有达到所需的质量,请转到第2页