基于上下文赌博机的自适应实时车间调度

传统的多Agent车间调度方法使用单一调度规则,忽略了生产环境变化对调度规则适用性的影响,导致调度结果欠佳.本文针对该问题提出一种自适应实时车间调度方法,通过上下文赌博机对工件调度过程进行类比建模.经过若干回合学习的上下文赌博机模型能够依据生产环境制定调度决策,获得优异的调度结果.最后,通过仿真实验验证了提出方法的有效性.

基于多臂赌博机的频率捷变雷达在线决策方法

频率捷变技术发挥了雷达在电子对抗中主动对抗优势,可以有效提升雷达的抗噪声压制式干扰性能。然而,随着干扰环境的日益复杂,在无法事先了解环境性质的情况下,设计一种具有动态适应能力的频率捷变雷达在线决策方法是一个具有挑战性的问题。该文根据干扰策略的特征,将压制式干扰场景分为3类,并以最大化检测概率为目标,设计了一种基于多臂赌博机(MAB)的频率捷变雷达在线决策方法。该方法是一种在线学习算法,无需干扰环境的先验知识和离线训练过程,在不同干扰场景下均实现了优异的学习性能。理论分析和仿真结果表明,与经典算法和随机捷变策略相比,所提方法具有更强的灵活性,在多种干扰场景下均能够有效提升频率捷变雷达的抗干扰和目标检测性能。

基于多臂赌博机的卫星通信系统子载波分配算法

为了提升卫星通信系统的频谱效率,在卫星系统采用正交频分多址(Orthogonal Frequency Division Multiple Access,OFDMA)传输技术的情况下,提出了一种基于多臂赌博机(Multi⁃Armed Bandit,MAB)的子载波分配算法。首先,建立基于OFDMA的卫星系统上行链路多用户传输模型。然后建立以用户总速率最大化为目标,以用户最大发射功率和用户服务质量为约束条件的资源分配问题。接着,利用MAB能在环境信息部分未知时在线学习摇臂选择策略的特性来求解该优化问题,并获得子载波分配方案。仿真结果表明,所提算法能实现系统子载波的自适应分配,同时用户总速率与贪婪算法在已知信道状态信息下获得的用户总速率几乎相同。

稳健的重尾线性赌博机算法

线性赌博机模型是在线学习的基本模型之一,其每个摇臂的平均奖赏可以由线性函数进行参数化.该模型具有坚实的理论保证和良好的实际建模能力,被广泛应用于各个场景.然而在一些现实场景中,数据通常是从开放动态环境中收集得到,因而会存在数据不规范的问题,已有算法缺乏对此的稳健性.特别关注2类数据的不规范性:奖励函数的回归参数可能随时间变化,环境噪声可能无界,甚至不服从亚高斯分布.这2类问题分别被称为分布变化和重尾噪声.为了应对这2类不利因素,提出一种基于置信上界的在线算法,该算法使用均值中位数估计器以处理潜在的重尾噪声,同时采用重启机制来解决分布变化问题.在理论上,首先建立了问题的遗憾理论下界,进一步给出了算法的理论保障,所取得的结果可以回退到已有研究中没有分布变化或没有重尾噪声场景线性赌博机的理论结果.此外,针对未知环境设计了实用的在线集成适应技术,并在合成和真实世界的数据集上进行了广泛的实验来验证其有效性.

一种核的上下文多臂赌博机推荐算法

个性化推荐服务在当今互联网时代越来越重要,但是传统推荐算法不适应一些高度变化场景。将线性上下文多臂赌博机算法(linear upper confidence bound,LinUCB)应用于个性化推荐可以有效改善传统推荐算法存在的问题,但遗憾的是准确率并不是很高。本文针对LinUCB算法推荐准确率不高这一问题,提出了一种改进算法K-UCB(kernel upper confidence bound)。该算法突破了LinUCB算法中不合理的线性假设前提,利用核方法拟合预测收益与上下文间的非线性关系,得到了一种新的在非线性数据下计算预测收益置信区间上界的方法,以解决推荐过程中的探索–利用困境。实验表明,本文提出的K-UCB算法相比其他基于多臂赌博机推荐算法有更高的点击率(click-through rate,CTR),能更好地适应变化场景下个性化推荐的需求。

基于信任和K臂赌博机问题选择多问题协商对象

Agent之间的多问题协商(multi-issuenegotiation)是一个复杂的动态交互过程.解决协商之前的对象选择问题在电子商务中有着重要的应用价值.为了提高多问题协商的准确性和购物Agent的效用,主要解决协商前的销售Agent的选择问题.为了充分利用协商历史,实现探索(exploration)和利用(exploitation)的折衷,把销售Agent的选择问题转变成K臂赌博机问题(K-armedbanditproblem)来求解.提出了信任和声誉的度量模型,结合K臂赌博机问题的求解技术,采用学习机制,提出了几个确定奖励分布的改进算法.最后,以模拟协商过程为基础,将改进算法、信任和声誉有机地结合起来,提高了选择销售Agent的准确性和实用性.几个实验都说明了该工作在应用中的有效性.

一种自适应的多臂赌博机算法

多臂赌博机问题是强化学习中研究探索和利用两者平衡的经典问题,其中,随机多臂赌博机问题是最经典的一类多臂赌博机问题,是众多新型多臂赌博机问题的基础.针对现有多臂赌博机算法未能充分使用环境反馈信息以及泛化能力较弱的问题,提出一种自适应的多臂赌博机算法.该算法利用当前估计值最小的动作被选择的次数来调整探索和利用的概率(chosen number of arm with minimal estimation, CNAME),有效缓解了探索和利用不平衡的问题.同时,该算法不依赖于上下文信息,在不同场景的多臂赌博机问题中有更好的泛化能力.通过理论分析给出了该算法的悔值(regret)上界,并通过不同场景的实验结果表明:CNAME算法可以高效地获得较高的奖赏和较低的悔值,并且具有更好的泛化能力.

认知无线网络中基于无休止多臂赌博机模型的多用户频谱接入机制

针对如何协调多个认知用户择机接入多段空闲频域信道的问题,提出了一种基于无休止多臂赌博机(RMAB)模型的动态频谱接入机制。首先,考虑到实际环境下认知用户的信道感知误差,推导出能有效处理感知误差的Whittle索引值算法,该算法通过历史经验积累给予每个信道一定的信任值,并综合考虑在当前信任值下选择每个信道的立即收益与未来收益的多少,选择出需要感知接入的信道;其次,对于多个认知用户接入相同信道时产生冲突的问题,提出了基于多标拍卖的协调机制,通过多标拍卖的方式处理认知用户之间的冲突。仿真结果表明,在相同的环境中,所提出的频谱接入机制与未处理误差的或者未采用多标拍卖的接入机制相比,认知用户获得的吞吐量更大。

基于多臂赌博机在线学习的频谱共享方法

针对频谱共享中信道状态建模为完全知识马尔科夫时,应用受限的问题,提出了不同信道下基于信道感知的在线学习。根据授权用户是否存在于当前信道来选择激进发送或保守发送,由于保守发送时,信道状态是不可观测的,因此将信道模型建模为部分可观测马尔科夫决策过程。将信道未知情况下的最优传输策略建模为多臂赌博机模型。仿真结果表明,在信道不完全可知情况下的多臂赌博机在线学习算法能获得最优K步策略,并通过UCB-TUNED方法改善了最优传输的K步保守策略的收敛性。

基于多臂赌博机模型的信道选择

在择机频谱接入系统中,为解决未知信道环境先验知识下的信道选择问题,提出了一种基于多臂赌博机(MAB)模型的改进UCB(Upper Confidence Bound)索引选择策略。该策略是通过在UCB索引的置信因子中引入收益方差值来调整对未知信道环境的探索过程,以降低探索成本。结合理论证明了本策略有较快的收敛速度,还证明了本策略下的学习后悔值曲线与时隙呈近似对数关系而较缓慢增长。仿真结果表明,与原UCB策略以及贪心算法相比,所提策略更能自适应地选择可用性较好的信道,有效降低学习后悔值并加快其收敛速度,从而提高了系统吞吐量。

百家乐1号赌博机电子证据勘查

利用赌博机赌博案件的作案手段隐蔽、发现查处难度大、涉及人员多、社会危害性大,是群众反响强烈的难点问题。本文从分析现场取得百家乐1号赌博机的电子证据入手,通过电子数据检验鉴定,从而全面掌握涉案赌博机的非法所得情况。

赌博机犯罪案件情况分析及预防对策

近几年来,赌博机犯罪案件数量显著上升,高不捕率、高捕后轻判率矛盾突出,与此同时,赌博机犯罪案件数量继续呈上升趋势,赌博游戏机渗透到人们尤其是外来务工人员的娱乐生活中,在造成财产损失的同时诱发其他多种违法犯罪行为。执法、司法机关有必要进一步协调、统一认识,从法律适用、执法司法、社会管理手段等方面开展工作,以有效打击街面赌博机犯罪。

基于多摇臂赌博机的产品定价算法

针对在线零售商在不完全需求信息下的单产品定价问题,提出了一种基于多摇臂赌博机的产品定价算法。为了提升多摇臂赌博机算法在定价问题中的效果,该算法利用了需求曲线的单调性,并加入了消费者偏好识别。对消费者的保留价格进行分析得到消费者购买概率,将在线零售商的定价问题建模为多摇臂赌博机模型,给出了相应的定价算法并进行了理论分析,最后通过仿真实验比较了相关算法的定价效果。仿真结果表明该算法提高了在线零售商的收益。

赌博机概念的厘定

赌博机概念的厘定,是准确界定何为赌博机的核心问题,是惩治该类违法行为首先要搞清楚的一个基本问题。当前关于赌博机概念的认识主要有两种观点,即"下分说"和"押分、赔率说"。这两种观点都有一定的缺陷。"全功能说"是赌博机概念界定的一个新观点,其对赌博机概念的厘定有一定的参考价值。

基于赌博机模型的非时隙信道选择机制

针对未知信息环境网络中信道资源的选择与分配问题,提出了一种新的信道选择机制。借助于无休止多臂赌博机模型搭建网络系统模型,通过最大期望算法(EMA)实现了未知环境下对非时隙信道使用情况的初步学习,借助Q学习算法实现无休止多臂赌博机模型下的Gittins索引值的求解,同时确定出在一定干扰约束下的最优信道选择策略,最后通过借助拍卖机制实现系统内认知用户之间信道选择的冲突。经仿真实现验证,提出的新信道选择机制能够很好地避免认知用户对主用户的干扰,使系统中的信道得到高效利用,系统通信量得到大幅提高。

论赌博机的实务认定标准

关于赌博机司法认定中存在两种争议观点,实质标准认为赌博机是用于赌博活动的电子游戏机,形式标准认为赌博机是具有赌博功能的电子游戏机,基于不同的观点,对于用于赌博活动的具有"退彩票"功能的电子游戏机是否赌博机会得出不同结论。从行为模式、行政执法和刑事司法的衔接,以及电游市场的未来发展等角度出发,赌博功能应当是退筹码功能,赌博机应当作形式认定,具有退非筹码功能的电子游戏机不应认定为赌博机。

融合矩阵分解的多臂赌博机推荐算法

近几年,随着推荐系统广泛应用在各个领域,冷启动问题受到了越来越多的关注.本文针对只可获得用户对商品评价的情况,解决冷启动难题.大部分已有研究通常先构建用户和商品的静态特征,再采用多臂赌博机策略进行推荐,其缺点是没有深入提取和更新特征,限制了推荐性能.本文提出一种新的算法来解决特征提取问题,具体来说,根据用户对商品真实评价与预测评价的误差,使用矩阵分解算法更新用户和商品特征;再对新的特征使用多臂赌博机策略进行商品推荐.新算法很好地将多臂赌博机策略和矩阵分解算法结合起来,并有很强的通用性和可扩展性.最后,采用真实的数据集Movielens和Last.fm将本文算法与其他不采用上下文信息的最新方法进行比较,实验结果表明该方法在一定程度上提升了推荐性能.

简析赌博机犯罪之司法认定——以“两高一部”《意见》为视角

设置赌博机组织赌博活动构成开设赌场罪即所谓的赌博机犯罪。根据《意见》赌博机犯罪的司法认定,应该包括对利用赌博机组织赌博行为的性质认定、定罪标准、罪与非罪的界定和共犯、赌资、赌博机的认定等方面内容的考量。

在线核选择的对抗式多臂赌博机模型

在线核选择是在线核方法的重要工作,可分为过滤式、包裹式和嵌入式3种类型。已有在线核选择探索了包裹式方法和嵌入式方法,也经验地采用了过滤式方法,但迄今尚没有一个统一的框架来比较、分析并研究各种在线核选择问题。文中提出一种在线核选择的多臂赌博机模型,该模型可作为一个统一框架,同时给出在线核选择的包裹式方法和嵌入式方法。给定候选核集合,候选集中的一个核对应多臂赌博机模型中的一个臂,在线核选择的每回合依据一个概率分布重复地随机选择多个核,并应用指数加权的方法来更新该概率分布。这样,在线核选择问题本质上可归约为一个非遗忘对手环境下的对抗式多臂赌博机问题,并可应用对抗式多臂赌博机模型统一地给出在线核选择的包裹式方法和嵌入式方法。文中进一步提出一个新的在线核选择后悔的概念,理论证明包裹式方法具有关于回合数亚线性的弱期望后悔界,并且嵌入式方法具有关于回合数亚线性的期望后悔界。最后,在标准数据集上通过实验验证了所提统一框架的可行性。

以多臂赌博机建模的多目标互动式推荐系统

许多推荐技术(如协同过滤)存在以下不足,降低了用户的体验满意度和忠诚度:1)忽略了“用户兴趣和商品属性会随时间而改变”这一事实;2)过度追求预测准确性而牺牲了推荐多样性和新颖性.为此,提出一种能动态适应上述变化,同时优化推荐准确度、多样度和新颖度的互动式推荐系统.主要步骤:1)采用理想点法构造多目标优化函数;2)收集用户反馈信息,及时地更新推荐策略;3)基于多臂赌博机构建互动式推荐框架.实验表明,经过与用户不断地互动推荐,该系统的平均列表准确度、多样度和新颖度都在逐步提升.