基于人工智能的药品投诉类案例信息识别及分类效能评估

目的评估构建的神经网络(NN)模型对药品投诉类案例的信息识别与分类效能,探究人工智能(AI)辅助人工审查分类的可行性。方法将X公司2022年8—10月线上收集的3090条反馈记录导入构建的NN模型,利用各指标对AI的分类效能进行评估并以3名资深药物警戒专员一致判定结果为真实值,对比AI与人工检测的灵敏度、特异度及AUC值;此外,用Kappa分数来评价AI与真实值组的一致性。结果与人工组相比,AI的F1值为90.48%,AUC值为95.20%,表明AI具有较高的分类质量;AI的灵敏度为90.48%,人工组为97.62%,差异无统计学意义(P=0.25);AI组和人工组特异度分别为99.87%和99.31%,差异有统计学意义(P<0.001);AI的Kappa值为0.903,表明AI组与真实值组具有极好的一致性。结论AI的分类效能具有较高的质量,对于投诉类案例的识别表现出较高的灵敏性与特异性,可以为投诉和非投诉案例的快速识别分类提供参考。