政务智能问答系统评价指标体系构建与测评问题编制

[目的/意义]智能问答系统正成为提供公共服务的重要设施。通过评价可以促进政务智能问答系统建设,降低用户行政负担。[研究设计/方法]基于文献调研、理论分析和案例研究,构建政务智能问答系统评价指标体系,并运用专家调查和AHP法确定了指标权重;根据政务热点咨询问题编制了与问题解决质量维度配套的测试问题集;对我国30个省级政府网站智能问答系统进行了实际测评。[结论/发现]政务智能问答系统评价指标体系包含问题解决质量、服务交互质量、基础建设质量3个维度以及高频问题解答率、同义问题解答率、交互次数等18个细化指标;测试题集包括高频、同义、错误、省略、英文五大类问题。实际评价证明了指标体系和测试题集的可用性和有效性。[创新/价值]从降低行政负担视角出发构建政务智能问答系统评价指标体系,运用文本挖掘技术构建测评问题集,并通过实际测评证明其可用性。

基于语义理解力的我国省级政府网站智能问答服务质量评价研究

[目的/意义]智能问答系统已成为各类网站提供信息咨询服务的重要设施。政务咨询问题的复杂性,对政府网站智能问答系统的语义理解能力提出了更高要求。[方法/过程]文章采用南开大学网络社会治理研究中心开发的“基于语义理解力的政府网站智能客服评价体系”以及配套的测试题集,对我国30个省级政府网站智能问答系统的“问题解决质量”“服务交互质量”“基础建设质量”进行了评测。[结果/结论]上海、浙江、北京总分名列前三;当前政府网站智能问答系统在语义理解及场景化服务方面存在明显不足,仅有30%的系统得分达到及格线以上,部分问答系统在基础功能与服务交互方面存在较大提升空间。最后,文章提出扩展知识库、提升问题匹配精度、增加人文关怀等对策建议。