美食视频作者徐大sao在互联网上很受欢迎，作为我的老乡，我也非常关注他。每天都吃一顿好的，那么他到底吃吃了哪些好吃的？在日常阅读中，我们经常遇到一些词云图片，看上去很炫酷，也能很直观的反应关键词的分布情况。本文我们将带着任务去学习，分析一下徐大sao到底吃了哪些好吃的，给好吃的排个名。
一、获取徐大sao所有投稿视频标题
想知道徐大sao每天吃什么最多，我们可以通过标题直接看到，比如最近一期的”用sao式老方做一盆热干面，一斤面不够吃，酱香浓郁，一口就上瘾”,我们能够看出他吃的是热干面。对应的，只需要抓取徐大sao近年来所有的投稿视频，我们就能分析出他吃什么好吃的最多。
打开徐大sao的主页，点击“投稿”按F12来找一下接口：
我们可以点击XHR（xhr,全称为XMLHttpRequest,用于与服务器交互数据,是ajax功能实现）看看有没有接口，经过寻找发现有可能存在接口。
右键在新的窗口中打开（右键点击Open in new tab），看看是不是：
下图可以看到，的确获得了视频的标题，那么蓝框中的参数是什么意思呢？
经过观察，不难发现，在徐大sao的视频页面中，每行有5个视频，共有6列，一共是30个视频。所以我们能够大胆的猜测，ps=30这个参数，应该就是目前视频标题数量。
那么pn呢，默认pn=1，翻页不难发现，pn随着翻页而改变，pn就是page number的缩写，一共是17页面。
那就简单了，我们只需要get请求17次就能抓取到所有数据了。
数据的清洗：
上面get获取到的json数据，不光是标题，还有简介，评论数等各种信息，我们这里格式化一下json看一下json数据格式，方便我们清洗。
用json数据格式化工具格式化之后，可以看到标题title在data的list下面的vlist里面。
码代码：
#-*- coding:utf-8 -*-
import requests
sao_api = "https://api.bilibili.com/x/space/arc/search?mid=390461123&ps=30&tid=0&pn={}&keyword=&order=pubdate&jsonp=jsonp"
res = requests.get(sao_api.format(1)) # 这里是先获得第一页的数据
for i in res.json()['data']['list']['vlist']:
print(i['title'])
经过我们的分析，短短几行代码就能获取到第一页的所有视频标题：
我们只需要优化一下代码，做个循环，就能获取到徐大sao所有的视频标题：
#通过循环，获取所有标题
title_hub = [] #为了方便理解，这里先定义一个空的数组
for j in range(1,18): #生成1到17页码值
res = requests.get(sao_api.format(j))
title_hub += [i['title'] for i in res.json()['data']['list']['vlist']] #将17次中，每一次的结果加到title_hub数组中
print(title_hub)
这样我们就得到了，所有的视频标题，并存在了一个列表中。
二、安装所需模块
俗话说，磨镰不误砍柴工。我们现在安装一下jieba模块用来分词，统计词频，用wordcloud模块来生成词云。
安装jieba模块，只需要执行pip install jieba
果直接执行pip install wordcloud，windows下会报错，我们用wheel方式来安装。
首先打开lfd.uci.edu/~gohlke/pythonlibs ，然后按下Ctrl +F 输入 wordcloud并搜索。
找到合适自己的版本并下载，我这里安装的是python 64位的 3.7版本，那么就下载wordcloud-1.6.0-cp37-cp37m-win_amd64.whl。
然后执行pip install wheel安装wheel模块，
接着执行 pip install wordcloud-1.6.0-cp37-cp37m-win_amd64.whl注意替换成你下载的模块：
三、开始分析
jieba分词模块基础功能
import jieba
sentence = "用sao式老方做一盆热干面，一斤面不够吃，酱香浓郁，一口就上瘾"
res = jieba.lcut(sentence)
print(' '.join(res))#用 空格链接各词
输出：用用sao式老方做一盆热干面，一斤面不够吃，酱香浓郁，一口就上瘾
词云模块的基础功能，将上面一句话生成词云看看：
from wordcloud import WordCloud #引入模块
wc = WordCloud(font_path="font.ttf", width=720, height=300, mode='RGBA', background_color=None).generate(text) #这些参数分别是字体文件，生成图片的宽、高、色彩模式、背景颜色
wc.to_file("sao.png") #保存生成为
结果为：
OK，迫不及待，我们直接分析，所有标题的结果吧！
#-*- coding:utf-8 -*-
import jieba
import requests
from wordcloud import WordCloud
sao_api = "https://api.bilibili.com/x/space/arc/search?mid=390461123&ps=30&tid=0&pn={}&keyword=&order=pubdate&jsonp=jsonp"
#通过循环，获取所有标题
title_hub = [] #为了方便理解，这里先定义一个空的数组
for j in range(1,18): #生成1到17页码值
res = requests.get(sao_api.format(j))
title_hub += [i['title'] for i in res.json()['data']['list']['vlist']] #将17次中，每一次的结果加到title_hub数组中
sentence = ' '.join(title_hub)
res = jieba.lcut(sentence)
text = ' '.join(res)
wc = WordCloud(font_path="font.ttf", width=720, height=300, mode='RGBA', background_color="white").generate(text)
wc.to_file("sao.png")
得到结果，字体越大，频率越高。不难发现，大sao最喜欢吃大蒜米饭，这些，并且非常过瘾。
但是这里面有各种各样的词汇，我们想知道徐大sao吃了哪些好吃的，可以将名词选出来。
案例：
那么n就代表名词，我们用名词做一个的词云。
代码如下：
#-*- coding:utf-8 -*-
import requests
import jieba.posseg as pg
from wordcloud import WordCloud
sao_api = "https://api.bilibili.com/x/space/arc/search?mid=390461123&ps=30&tid=0&pn={}&keyword=&order=pubdate&jsonp=jsonp"
#通过循环，获取所有标题
title_hub = [] #为了方便理解，这里先定义一个空的数组
for j in range(1,18): #生成1到17页码值
res = requests.get(sao_api.format(j))
title_hub += [i['title'] for i in res.json()['data']['list']['vlist']] #将17次中，每一次的结果加到title_hub数组中
sentence = ' '.join(title_hub) #将所有的标题组合为一个字符串
word_text = ''
for i in pg.lcut(sentence): #分词，并获取词性
if i.flag=='n': #只保留名词
word_text = i.word+ ' '+ word_text
wc = WordCloud(font_path="font.ttf", width=720, height=300, mode='RGBA', background_color="white").generate(word_text)
wc.to_file("sao.png")
OK，一目了然，到这里我们看到，大sao吃的最多的就是大蒜，米饭，面条，各种面。看来“碳水教父”的称号果然名不虚传啊。
那要是给各个词排个名次，统计出现的具体次数该怎么做呢：
#-*- coding:utf-8 -*-
import requests
import jieba.posseg as pg
from wordcloud import WordCloud
sao_api = "https://api.bilibili.com/x/space/arc/search?mid=390461123&ps=30&tid=0&pn={}&keyword=&order=pubdate&jsonp=jsonp"
#通过循环，获取所有标题
title_hub = [] #为了方便理解，这里先定义一个空的数组
for j in range(1,18): #生成1到17页码值
res = requests.get(sao_api.format(j))
title_hub += [i['title'] for i in res.json()['data']['list']['vlist']] #将17次中，每一次的结果加到title_hub数组中
sentence = ' '.join(title_hub) #将所有的标题组合为一个字符串
word_text = []
for i in pg.lcut(sentence): #分词，并获取词性
if i.flag=='n': #只保留名词
word_text.append(i.word)
ban_words = ["过瘾",'小伙','媳妇','朋友','下馆子','厨房','一家人','老板','老婆','老爸'] #设置需要过滤的词
cnt_dict = {}
for i in word_text:
if i not in ban_words:
#不统计字数为一的词
if len(i) == 1:
continue
else:
cnt_dict[i] = cnt_dict.get(i,0) + 1
items = list(cnt_dict.items())
items.sort(key=lambda x:x[1], reverse=True) #排序
res=[]
for j in range(10): #填写一个数字，反馈该数字个结果
word, count = items[j]
res.append([word,count])
for i in res:
print(i)
输出结果如下：
['大蒜', 134]
['米饭', 45]
['辣椒', 44]
['火锅', 29]
['面条', 24]
['啤酒', 22]
['红油', 17]
['荆条', 16]
['铁板', 15]
['猪蹄', 14]
可以看到，大蒜，出现了足足134次，远远超过第二名！！！其次是米饭，辣椒，火锅，面条。
真是离不开，辣和碳水。
会了这种方法，你就可以为你喜欢的美食博主做个分析啦！
?