基于点击模型的搜索策略A/B实验评估算法研究

搜索引擎向着大数据,个性化和复杂模型的方向发展着。伴随之的就是对于搜索策略的评估方法的升级,由于传统的基于统计的评估指标无法体现用户的体验上的感知,急需要A/B实验的方法评估搜索策略。点击模型是一种利用用户点击行为,分析搜索文档相关性的方式,具有数据获取成本低,效率高的特点。笔者对于点击模型进行研究和改进,结合A/B实验的特点,提出了搜索策略的A/B实验评估算法。

从法的实验到实验的法:A/B实验对互联网治理的变革效应

作为互联网时代影响相当广泛、深刻的思想与工具,A/B实验在情绪操纵、政治传播、大数据杀熟等议题背后发挥了重要作用,自身却鲜有被关注。从政策试点、对照实验与审慎包容/渐进式监管三种治理思想出发,A/B实验是值得互联网治理吸纳的治理工具。对互联网治理规则的制定和执行而言,A/B实验有助于科学地制定和执行规则、实时且科学地评估规则、促进规则的“可实验性”。A/B实验与受到广泛讨论的沙盒治理和个性化治理的联系,进一步体现了实验变革互联网治理的潜力。A/B实验还受到《个人信息保护法》等法律法规、技术标准和伦理原则的规范。A/B实验的实用化、规范化和引入治理,可理解为互联网治理由“法的实验”迈向“实验的法”的技术基础和实践体现。

一个资讯推荐系统评测方案的设计

为了提高资讯推荐系统的质量和效果,实现对用户资讯的精准推荐,文章分析资讯推荐系统架构后,制定了一套推荐系统评测方案。该套方案采用众测、用户调研、竞争产品分析对比测试和手工测试等手段对用户画像Profile、UI交互、内容质量、日志统计上报等基础数据进行评测,采用模型离线实验和A/B Test在线实验对推荐系统效果进行评测,在评测过程中通过日志自动化过滤来完善缺陷追查系统,进一步提升推荐系统的研发效率。