利用文本挖掘方法揭示ChatGPT提示对交通安全信息的影响

ChatCPT是一种前景广阔的高级大型语言模型,需要通过提示来获取信息。然而,对于许多最终用户来说,设计一个好的提示并不是一件容易的事。因此,本研究旨在确定因提示信息量不同而获得的信息量。本研究使用了两种类型的提示语(初始提示语和改进提示语)来查询327篇高引用率交通安全文章的引言部分。然后将查询到的引言部分与人工撰写的引言部分进行匹配。通过相似性测试和文本网络分析来了解ChatGPT生成的引言与人工撰写的引言的相似程度和内容。研究结果表明,改进后的提示(增加了通用角色和有关引文和参考文献的信息)对ChatGPT的输出改变不大。完美相似内容的相似度应该达到1.0.而初始提示和改进提示的介绍材料的平均相似度分别为0.5387和0.5567。此外,内容分析还显示,无论提示中提供了多少信息,统计数据、趋势、安全措施和安全技术等主题都更有可能获得较高的相似度得分。而人类行为、政策法规、公众认知和新兴技术等主题则需要在提示中提供详细的信息,才能生成接近人工撰写的材料。提示工程师可以利用上述发现来评估他们的产出,并改进他们设计提示的技能。