CFB:金融领域大模型评估方法

随着大语言模型(LLM)在金融领域的应用潜力不断显现,评估金融大模型的性能变得尤为重要。然而,由于当下的金融评估方法评估任务单一、评测数据集覆盖面不足以及测评基准数据污染等方面的局限,大模型在金融领域的潜力尚未得到充分探索。基于此,提出了中文金融大模型评估方法CFB,构建36个数据集,涵盖24个金融任务,涉及多项问答、术语解释、文本生成、文本翻译、分类任务、语步识别、预测决策7个金融大模型测评任务,并构建了相应的测评基准。CFB提出的新思路包括:更广泛的任务和数据范围,引入了基于LLM的基准去污方法以及基于指令微调、知识检索增强和提示词工程3种方法的评估。并对包括GPT-4o、ChatGPT和Gemini在内的12个LLM进行了评估,实验结果显示,虽然LLM在信息提取和文本分析方面表现出色,但在高级推理和复杂任务方面存在困难。GPT-4o在信息提取和股票交易方面表现突出,而Gemini在文本生成和预测方面更胜一筹。经过指令微调的LLM在文本分析上有所提升,但对复杂任务提供的益处有限。

基于SSL-DDPM的脑电疲劳状态检测方法

疲劳检测对日常生活是至关重要的,尤其对于驾驶领域。基于脑电(EEG)信号的疲劳驾驶检测已吸引了众多学者的关注,但由于高质量带标签的EEG样本稀少问题严重阻碍了疲劳检测领域的发展。因此,文中首次将自监督学习(SSL)与扩散模型(DDPM)相结合应用于EEG的疲劳检测研究中,提出一种基于SSL-DDPM的脑电疲劳状态检测方法。该方法分为预训练和下游任务两部分,预训练阶段中首先对原始信号进行DDPM扩增,然后以ResNeXt代替ResNet为骨干网络对扩增前后的EEG信号进行特征提取,最后对提取的特征进行信号重构。下游任务的网络以共享预训练网络参数为主,对扩增前后的信号进行疲劳检测。通过SEED数据集和Multi-channel数据集进行实验验证,最终分类准确率分别达到88.23%和86.14%,验证了文中疲劳状态检测方法的有效性。