东盟涉华舆情识别及特征分布研究--以主流英汉媒体为分析对象

[研究目的]高效识别和挖掘海外媒体的涉华新闻舆情及其特征分布,对于我国全方位、多角度了解国际社会的对华关注点和国际舆情场变化具有重要意义。[研究方法]以“一带一路”倡议开局前五年的东盟主流英汉媒体新闻为分析对象,首先在确定新闻媒体列表并进行定制化采集的基础上,通过人工标注形成英汉训练数据集,然后在标注语料上比较10种机器学习模型的性能,随后选择效果最佳的基于BERT的分类算法对采集的语料进行涉华识别,最后对涉华新闻进行定量统计和多角度的舆情分析。[研究结论]汉语媒体是东盟涉华舆情的主要阵地,英汉媒体的重点关注对象分别以政治类和经济类主题为主,但不同国家的对华关注点不尽相同且会产生变迁。

面向跨境电商的网络抓取技术研究

网络爬虫已成为提高跨境电商数据化运营效率的一项热门技术。本文通过叙述商业爬虫软件采集商品页面信息的基本方法,论述了爬虫程序提取商品价格与评价信息的常用算法,分析了抓取Ajax生成的Json信息、实现动态翻页和应对网站的反对爬虫的技术和方法。实践证明,由于电商平台反爬虫策略会动态调整,如何利用人工智能技术更好地模仿人类行为来实现有效的信息采集是跨境电商爬虫技术提升的要点。