爬取 100 万条 StackOverflow 问答后，我得出的结论

爬虫的具体操作流程是，打开 StackOverflow 主页，在 questions 页面下选择按 vote 排序，爬取前 20000 页，每页将问题数量设置为 50，共 100 万条，实际上用数据库去重后只有 999654 条问答信息。

他分别对votes、answers、views进行了分析，咱们来看一下他的分析结果吧。

一、votes 分析

降序排列了 votes 数，生成折线图

2k 后的问题的 votes 数基本上就已经在 400 以下了，接着后面的就基本上是贴地飞行了。

votes 数最多 : Why is it faster to process a sorted array than an unsorted array?

votes 数的连续分布情况：

可见最多的还是集中在 1-2K 之间,从 6k 开始基本上就断层了

description	count
votes >= 500	1630
votes >= 400	2325
votes >= 300	3782
votes >= 200	7062
votes >= 100	19781

如果以 100 为分界线的话，会得到这样的一个饼图。

大于 100 的连 %2 都不到。

再来看看底层的数据。

description	count
1 <= votes=""><=>	211804
6 <= votes=""><=>	430935
11 <= votes=""><=>	136647
16 <= votes=""><=>	64541
votes <=>	843927

可见 votes 小于 20 的，数量高达 84m。看看总体的比例吧。

二、answer 分析

降序排列了 answers 数，生成折线图。

很明显 3k 之后的 answers 数基本上就小于 20 了。

answers 数最多: What is the best comment in source code you have ever encountered? 

answer数的连续分布情况。

150 后也就断层了，实际上能达到这样的回答数极少。

具体数据。

description	count
answers >= 5	218059
answers >= 10	34500
answers >= 20	3808
answers >= 30	968

大于 30 的确实少的可怜，看看总体情况。

三、views 分析

降序排列了 views 数，生成折线图。

最高达到了 4.5m，100000 以后的基本上就不足 28000 了。

views 数最多: How to undo last commit(s) in Git?

views 数的连续分布情况。

具体数据。

description	count
views >= 5000	486466
views >= 10000	315576
views >= 20000	171873
views >= 50000	59363
views >= 100000	22224
views >= 200000	7030

大部分问答的 views 数还是集中在 20000 以内。还是得看看总体分布。

四、综合分析

再看看 votes，views，answers 三者的散点图对应情况。

votes - views

votes - answers

views - answers

views-answers散点图

总的来说，这三者对应关系类似于一个金字塔。三个图基本上都是左下角靠近原点的区域被填满，也就是说绝对大部分的问题的 votes，answers 和 views 都是属于最下层的。高质量活跃的问题是处于金字塔顶端的。三者的最高数好像也没特别明显的对应关系，且三者的最高数都不是同一个问题。

根据所有问题的 tags 提取出总量前 200 的关键词（前 50 条如下），java 排在第 2 名。

('c#', 94614),('java', 93244),('javascript', 76722),('android', 69321),('python', 62502),('c++', 58173),('php', 42596),('ios', 37773),('jquery', 37405),('.net', 36180),('html', 28536),('css', 26174),('c', 24699),('objective-c', 23253),('iphone', 22171),('ruby-on-rails', 20143),('sql', 19171),('asp.net', 18060),('mysql', 17559),('ruby', 16397),('r', 15670),('git', 13139),('linux', 13080),('asp.net-mvc', 12857),('angularjs', 12606),('sql-server', 12473),('node.js', 12212),('django', 11576),('arrays', 11006),('algorithm', 10959),('wpf', 10631),('performance', 10619),('xcode', 10613),('string', 10426),('windows', 10132),('eclipse', 10117),('scala', 9942),('regex', 9685),('multithreading', 9601),('json', 9266),('swift', 8950),('c++11', 8939),('haskell', 8823),('osx', 8159),('visual-studio', 8140),('html5', 7627),('database', 7567),('xml', 7478),('spring', 7464),('unit-testing', 7253),('bash', 6825)

这样看好像不太直观，所以就把它根据词频生成了词云。

传送门地址：https://github.com/chenjiandongx/stackoverflow-spider

作者：chenjiandongx