在统计机器学习研究中,基于K折交叉验证的AUC(Area Under ROC Curve)度量常常被用作分类算法性能的评价.然而,点估计显然没有考虑方差的信息,为此,基于正态假定的K折交叉验证t分布构造的AUC度量的通用对称置信区间(区间估计)被提出.但是...在统计机器学习研究中,基于K折交叉验证的AUC(Area Under ROC Curve)度量常常被用作分类算法性能的评价.然而,点估计显然没有考虑方差的信息,为此,基于正态假定的K折交叉验证t分布构造的AUC度量的通用对称置信区间(区间估计)被提出.但是,这些对称置信区间往往表现出低的置信度或长的区间长度,从而容易导致激进的(liberal)统计推断结果.通过对AUC度量的理论分析,发现AUC度量的真实分布实际上是非对称的,此时简单使用对称分布去近似它显然是不合适的.因此,针对二类分类问题,本文提出了一种新的基于K折交叉验证Beta分布的AUC度量的非对称置信区间,在模拟和真实数据实验上验证了提出的置信区间相对于传统的基于K折交叉验证t分布的对称置信区间的优越性.展开更多
文摘在统计机器学习研究中,基于K折交叉验证的AUC(Area Under ROC Curve)度量常常被用作分类算法性能的评价.然而,点估计显然没有考虑方差的信息,为此,基于正态假定的K折交叉验证t分布构造的AUC度量的通用对称置信区间(区间估计)被提出.但是,这些对称置信区间往往表现出低的置信度或长的区间长度,从而容易导致激进的(liberal)统计推断结果.通过对AUC度量的理论分析,发现AUC度量的真实分布实际上是非对称的,此时简单使用对称分布去近似它显然是不合适的.因此,针对二类分类问题,本文提出了一种新的基于K折交叉验证Beta分布的AUC度量的非对称置信区间,在模拟和真实数据实验上验证了提出的置信区间相对于传统的基于K折交叉验证t分布的对称置信区间的优越性.
