自然语言处理中的探针可解释方法综述

随着大规模预训练模型的广泛应用,自然语言处理的多个领域(如文本分类和机器翻译)取得了长足的发展.然而,受限于预训练模型的“黑盒”特性,其内部的决策模式以及编码的知识信息被认为是不透明的.以Open AI发布的Chat GPT和GPT-4为代表的先进预训练模型为例,它们在多个领域取得重大性能突破的同时,由于无法获知其内部是否真正编码了人们期望的知识或语言属性,以及是否潜藏一些不期望的歧视或偏见,因此仍然无法将其应用于重视安全性和公平性的领域.近年来,一种新颖的可解释性方法“探针任务”有望提升人们对预训练模型各层编码的语言属性的理解.探针任务通过在模型的某一区域训练辅助语言任务,来检验该区域是否编码了感兴趣的语言属性.例如,现有研究通过冻结模型参数并在不同层训练探针任务,已经证明预训练模型在低层编码了更多词性属性而在高层编码了更多语义属性,但由于预训练数据的毒性,很有可能在参数中编码了大量有害内容.该文首先介绍了探针任务的基本框架,包括任务的定义和基本流程;然后对自然语言处理中现有的探针任务方法进行了系统性的归纳与总结,包括最常用的诊断分类器以及由此衍生出的其他探针方法,为读者提供设计合理探针任务的思路;接着从对比和控制的角度介绍如何解释探针任务的实验结果,以说明探测位置编码感兴趣属性的程度;最后对探针任务的主要应用和未来的关键研究方向进行展望,并讨论了当前探针任务亟待解决的问题与挑战.

基于iBeacon的精细室内定位方法研究

苹果公司发布的i Beacon作为一种粗精度位置感知服务体系,得到了广泛关注。针对更精细的广域位置服务,提出了基于i Beacon的无线指纹定位方法,并给出了图书馆的位置服务示例。

基于iBeacon定位技术的智慧图书馆

本项目遵循物联网技术架构,设计了智慧图书馆整体解决方案。它以i Beacon室内定位、3D实境、移动互联网、Saa S等技术为基础,实现了图书馆场景下的智能定位与导航服务、图书馆增强现实位置服务、3D运行监管、角色个性化服务等功能。针对读者,可以获得图书智能检索、馆内定位与导航、消息推送、向工作人员求助等服务;针对工作人员,使用Unity3D构建图书馆场景,实时获取图书馆内读者与馆区信息,实现图书馆全境动态监管。