请选择 进入手机版 | 继续访问电脑版

拨云见日,浅谈游戏领域的数据分析

2016-9-18 16:49 117 0 编辑:xuni99
【版权申明】:

  本网站部分内容摘录或转载属于信息来源,如有侵权请与本站联系,我们将第一时间进行处理。任何媒体、网站或个人从本网站下载使用,必须保留本网信息来源,并自行承担版权等法律责任。



一年一度的TI刚刚结束,来自世界各地的dota2职业战队齐聚西雅图,争夺这一dota2领域的荣誉桂冠,同时还有高达900多万美金的冠军奖金,最终此项荣耀由来自中国的Wings战队豪取。





本文将以dota2为例浅谈一下电子竞技领域的数据分析。

准备

巧妇难为无米之炊,进行数据分析当然需要先有数据。这里,我们拿dota2各种比赛的BP数据进行分析(BP,就是Ban/Pick,赛前每个战队Ban掉5个英雄,Pick 5个英雄,然后开始比赛。对于实力接近的两个队伍,BP对比赛最终的胜负有极其重要的作用)。

BP数据可以从某网站获得:







(获取每一局的链接)






(获取每一局的对战详情)




使用python来进行网页爬取,信息采集,入库,分别需要引入package:urllib2, BeautifulSoup, MySQLdb。同时由于效率问题,最好使用多线程爬虫,用到threading 和Queue:




引入Pickle是希望在程序过程中不断持久化已经得到的数据(list对象),可以保存进度。

main程序里面轮询page num,读取每个page页面的match url,放入Queue,同时起NUM_WORKER数目的子线程,不断地读取Queue里面的url(生产者消费者问题),进行页面爬取,并使用BeautifulSoup parse HTML文档,得到需要的各种信息(所属赛事,时间日期,每场胜者(这里面一个url可能有多场比赛),队伍名,成员,Ban,Pick,Bestof等),以特定的分隔符按照相同的顺序拼接成字符串,放入一个全局的list对象,最终load到MySQL。

多线程,爬取match url等的代码如下:












do_work主要处理对于每一场比赛,进行爬取,以及parse HTML文档得到详细信息,如下:











编码完成,就nohup到后台执行。我开了8个线程,依然用了将近10个小时得到22000场比赛数据,插入MySQL数据库(urllib2.urlopen方法中加入了timeout值,可以记录timeout的request url,用于重新抽取)

MySQL Table DDL:









全部条目数:








TI6总决赛Wings vs DC:








单独看下第二行数据:




分析

首先,可以看下整个TI6期间所有战队的胜率排行:






EH胜率最高。

此外,还能根据战队,或者联赛名称做filter,进行分析,这些都是纯SQL操作,不再赘述。

接下来可以使用R进行高级一点的分析:设定的场景是取所有胜场的pick list,然后分析hero frequency,还有做因子关联分析。

先了解三个术语:支持度(Support),置信度(Confidence),提升度(Lift)

支持度:Support(A→B),即A和B这两个项集在事务集D中同时出现的概率,为P(AUB)

置信度:Confidence(A→B),即在出现项集A的事务集D中,项集B也同时出现的概率,为P(B|A) = P(AUB) / P(A)

提升度:Lift(A→B),即项集A出现情况下,项集B出现的概率,与B总体发生概率之比,为P(B|A) / P(B)

满足最小支持度的项集称为频繁项集,满足最小支持度和最小置信度的规则,叫做强关联规则,强关联规则里面如果提升度大于1则称之为有效的,反之无效。

接下来,需要导出winner pick list,因为dota2版本的不同,会导致不同的英雄热度,在此只取基于最近的一个版本的近1500场比赛:












导出成文本备用,winner_pick.data。

R里面做因子关联分析,需要使用到arules这个library,如下:






第一行引入arules,第二行读取winner_pick.data文本,定义分隔符为“|”,第三行对数据集查看summary。

可以看到winner数据集中一共有1454行,每行有5个element,arules会把数据集转换为稀疏矩阵,从上图看出这个矩阵有1454行109列,每一个单元格里面表示的是此element是否出现(即此英雄是否pick)。

看下item frequence:itemFrequencyPlot(winner, topN=10, horiz=T)








把数据集换成TI6(数据集较小,180场比赛左右),重新生成plot:




可以看出Mirana(Pom)在TI6胜场pick里面占了很大比例。

接着进行因子关联分析,依旧使用1500多场那个数据集,数据集比较大情况下分析比较有意义:










第一行使用apriori进行关联分析(分析满足支持度大于0.01,置信度大于0.25,且lhs + rhs数目最少为2的关联规则),第二行依据支持度排序关联规则。

Tiny与Io,Luna与Shadow Demon,Huskar与Dazzle成为比较火的组合,组内提升很明显;同时Phoenix(凤凰)和FV(虚空)组合支持度比较高,即组合选择比较多。

后续除了因子关联分析,还可以选取适当的feature,进行逻辑回归,预测胜负等等。



小结

本文简单介绍了从数据提取,清洗转换,到数据分析的一般流程。当然数据工程师处理的可能是更大的数据集(TB级别或以上),Hadoop存储以及Spark分布式计算,数据分析师使用的是可能是逻辑回归,SVM或者深度学习等更为高深的算法,不过从中还是可以看到数据工程师,数据分析师的日常剪影。




本文作者:韩新润(点融黑帮),目前就职于点融数据团队,负责数据仓库架构流程设计以及数据ETL实施。
收藏 邀请

伤心

惊呆

大赞

晕了

感动
此篇文章已有0人参与评论

请发表评论

全部评论

精彩阅读

关注我们

扫描微信二维码或搜索
虚拟99微信公众号:ixuni99

联系QQ

363312702
  • 杜绝IDC、短信、代理等广告
  • 邮箱xuni99@qq.com
  • QQ群181193387
  • QQ群219691576

虚拟99 |网站地图

    
赣ICP备 17001544号  赣公安网备 11010102002019号
本站内容来自互联网与用户分享,如有侵权请联系我们删除!