需求是提供youtube某个热门视频的评论用户的国籍统计,后续需求是提供youtube某个热门直播聊天(live caht)用户国籍统计。
youtube某个热门视频的评论用户的国籍统计实现
大概的实现思路是这样的:
1、 有一个代理,可以访问youtube.(这个是必须条件,我使用了自建的代理 )
2、 有一个可以访问youtube的google帐号。
3、 登录Google Cloud Platform 来启用 youtobe data api V3
4、创建一个youtobe api 访问凭据,如下图:
上面三步的具体操作可以参考这个的链接
5、参考github 上youtube data V3的python例子链接如下 ,来改写一个根据youtube视频ID来抓取评论用户信息(channel_id)并根据用户channel_id来抓取用户国籍信息。
6、最后,用result.sh这个shell脚本组合上面的python脚本,把最终的统计信息放到result.txt文件中。
youtube某个热门直播聊天(live caht)用户国籍统计
1、 有一个代理,可以访问youtube.(这个是必须条件,我使用了自建的代理 )
2、 在chrome中开这个直播并打开 F12, 获取get_live_chat_replay的curl命令,具体操作如下图:
3、 进入这个页面把上面CP的curl 命令转化为python requests 数据,如下图:
4、 把下面的requests数据放到live_chat_channel.py脚本中,就可以把相应直播视频中发过聊天记录的用户的channel_id给抓取出来了。
5、 最后,运行result_live.sh这个shell脚本组全上面的python脚本,把最终的统计信息放到result.txt文件中
统计结果说明
大概统计了一下,用户channel_id中会记录自己的国籍信息的大概在10%左右,相关分析结果的可靠性还是要看各人。
相关脚本
可以访问我的github 来获取相应的脚本。Readme.md中会有相关的使用说明.