基于投票一致性的众包质量评估策略
来源期刊:东北大学学报(自然科学版)2014年第8期
论文作者:岳德君 于戈 申德荣 于晓聪
文章页码:1097 - 1101
关键词:众包;投票;一致性;质量评估;动态替换;
摘 要:提出一种基于投票一致性的工作者严谨度动态评估策略,将众包任务集合划分为多个任务子集,每个任务子集看作一个工作阶段.在任意工作阶段结束后,通过记录工作者投票的数量,以及工作者与工作组投票值一致的投票数量,对工作者的严谨度进行评估,从而检测出不合格的工作者.然后对不合格的工作者进行动态替换,从而保证工作组的正确率满足任务的精度阈值.通过对三种真实数据集进行实验测试,证明本文提出的工作者质量动态评估方法和替换策略具有较好的效果.
岳德君1,于戈1,申德荣1,于晓聪2
1. 东北大学信息科学与工程学院2. 中国刑事警察学院计算机犯罪侦查系
摘 要:提出一种基于投票一致性的工作者严谨度动态评估策略,将众包任务集合划分为多个任务子集,每个任务子集看作一个工作阶段.在任意工作阶段结束后,通过记录工作者投票的数量,以及工作者与工作组投票值一致的投票数量,对工作者的严谨度进行评估,从而检测出不合格的工作者.然后对不合格的工作者进行动态替换,从而保证工作组的正确率满足任务的精度阈值.通过对三种真实数据集进行实验测试,证明本文提出的工作者质量动态评估方法和替换策略具有较好的效果.
关键词:众包;投票;一致性;质量评估;动态替换;