探索定西市的 Sci-Hub 流量之谜

关键词：R 语言; echarts4r; 流量分析

审稿：黄湘云；编辑：黄湘云

1. 是否自然流量

本（咸）文（鱼）作（人）者（类）认为由正常人类产生的网站流量属于自然流量，由除正常人类以外的非正常手段产生的网站流量属于非自然流量。倘若定西市全部流量都不是由正常人类产生的，那么时间上的趋势应当是相对平缓的。因为正常人类不会一年365天每天都下载文献来读，总要放假休息，也不会一天24小时都读文献，总要吃饭睡觉，所以在正常人类休息的时间就会形成流量的波谷。

取出全中国（含中国台湾、中国香港、中国澳门，下同）总下载量排名前5的城市或地区的数据，先按天汇总下载量，观察其随时间变化的趋势。从下图中可以看到，这5个城市或地区的数据表现出了一些完全一致的现象，这些共同的表象至少说明定西市的流量不会全是非自然的。

• 都在1月底2月初出现波谷，正好对应中国传统春节假期的时间。
• 都缺失4.21日至4.29日以及10.7日至10.29日的数据，都在12.16日出现最小值（与 Sci-Hub 全站流量一致）。
• 都有明显的周期性波动。

接着按小时汇总下载量，再观察其随时间变化的趋势。从下图中可以看到，这5个城市或地区的数据仍然表现出了一些完全一致的现象：都出现了三个峰值。其他4个城市或地区的流量均是出现两个较高的波峰和一个较矮的波峰，且第3个波峰最低，而定西第3个波峰最高。

• 北京：在5点、11点出现较高波峰，16点出现较矮波峰。
• 上海：在5点、10点出现较高波峰，16点出现较矮波峰。
• 台湾：在6点、10-11点出现较高波峰，17点出现较矮波峰。
• 香港：在5-6点、10-11点出现较高波峰，16-17点出现较矮波峰。
• 定西：在5点、11点、16点出现三个波峰，且16点的波峰最高。

也许是打开的方式不对，根据日期拆分出工作日和周末，再按小时汇总下载量，然后观察其随时间变化的趋势。如果只看“工作日”的数据，那么整体趋势和之前基本一致，还是只有定西第三个波峰最高，其余4个城市或地区的第三个波峰最低。但如果只看“周末”的数据，一切又似乎有些不同，台湾和定西一样是第三个波峰最高，其余3个城市或地区则变成三个差不多高的波峰。

到这里，可以得到一个初步的结论：定西市的流量和其他几个城市或地区一样，每日流量趋势具有明显的周期性，24小时流量趋势具有明显的波峰和波谷，应该多数是由正常人类产生的自然流量，但是不能排除混入非自然流量的可能性。可是，为什么大家都要在5点读论文呢？

2. 一天三个波峰是否正常

话说回来，凌晨5点就爬起来读文献是正常人能干出来的事嘛？

倒也不是完全不可能……一定有人听说过篮球明星科比的名言：“你见过凌晨四点的洛杉矶嘛！”也一定有人读过 C.R RAO 的《统计与真理：怎样运用偶然性》，此书扉页写着：“本书谨献给引导我探求知识的母亲 A. Laxmikanthamma。在我年少时，母亲每天早上四点起床，为我点上油灯，使我能在安静的早晨精力充沛地用功读书。”由此可见，极个别的人5点读文献是正常的。只不过，大多数人都在5点读文献就不正常了。

既然出现了”5点是文献下载流量高峰”的表象，却又和常识不相符，不如放大数据范围，看看其他国家、其他城市或地区是否也存在类似情况。选出 Sci-Hub 2017年文献下载量最高的前五个国家，每个国家选出下载量最高的前五个城市或地区，按小时汇总下载量，观察流量随着时间变化的趋势。

为了方便比对不同国家的城市或地区的情况，将25个折线图拼贴到一起。除了美国以外，其余四个国家的流量都有明显的波峰和波谷，并且各国出现波峰波谷的时间点是错位的，这说明”时间”这个字段并不是记录的属于各个国家时区的时间，而是一个统一的时区的时间。在 Sci-Hub 提供的下载日志数据中，时间字段是没有标示出时区的。不管对此字段head、str、summary都看不到时区，但是min、max时能看到时间中多了UTC，形如2017-01-01 00:01:01 UTC，此“UTC”并不是指“UTC+00”，只是一种精确到时分秒的数据格式。由此可知，数据中的时间字段应是”浏览并下载文献”这一行为在该网站的后台服务器留下记录的时间，即数据中所有时间的时区统一都是服务器所在地区的时区。既然如此，不妨根据现实中这几个国家的时区差异，尝试将时间轴进行推移，看看是不是能得到更加符合常识的现象。

• 中国几个城市或地区的三个峰值时间点是”05:00 - 11:00 - 16:00”，若将时间轴推后5个小时变成”10:00 - 16:00 - 21:00”，正好符合国人”上午 - 下午 - 晚上”读书或工作的习惯。

• 印度几个城市或地区的两个峰值时间点是”09:00 - 12:00” ，考虑到印度比中国慢2.5小时，将时间轴推后2.5小时变成”11:30 - 14:30”，也算是在白天读书或工作。

• 巴西几个城市或地区的两个峰值时间点是”16:00 - 21:00 - 03:00”，考虑到巴西比中国慢11个小时，将时间轴提前6小时变成”10:00 - 15:00 - 21:00”，也正好符合”上午 - 下午 - 晚上”读书或工作的一般规律。

• 伊朗只有一个较为明显的高峰时间点”10:00”，考虑到伊朗比中国慢3.5小时，将时间轴推后1.5小时变成”11:30”，也算是有白天读书或工作的高峰，之后的时间不再出现波峰，也许伊朗人贡献了”11:30”的高峰流量后也继续发愤图强努力读论文。

综合看起来，除了美国几个城市的流量平稳中透露着诡异以外，其他几个国家的城市或地区的流量都算是较为自然的。可是，定西市的流量究竟来源何处呢？

3. 定西流量来源

细心的坛友张桐川 发现，全中国总下载量排名靠前的城市或地区里面没有深圳，因而怀疑深圳的流量被误认为”定西”。这项怀疑是合理的，只是难以通过现有数据来验证。

耐心的编辑湘云 建议对数据质量做更细致的校验，或可根据经纬度来反推流量所属城市，遗憾的是 Sci-Hub 的经度、纬度数据很粗犷，整个定西市的经纬度才两个。

到这里，定西流量之谜仍未解开，此时不妨拓宽思路，去探索 Sci-Hub 网站提供的更早时间段的数据。

将2015年9月至2016年2月一共6个月的数据与2017年一整年共12个月的数据进行对比，为了方便描述，用 A 时间段代表2015年9月至2016年2月，用 B 时间段代表2017年。A 时间段的全站总流量为27,819,965，除以6得到月均流量为463,661，B 时间段的全站总流量为150,875,862，除以12得到月均流量为12,572,989，后者除以前者，得到从 A 时间段至 B 时间段的月均流量上涨倍数是2.712。月均流量上涨，自然是因为Sci-Hub 越来越为人所知，越来越多人来使用它。

全中国的 Sci-Hub 流量在 A 时间段是28,607,633，在 B 时间段是4,631,156，月均流量的上涨倍数是3.089。按照2017年排名顺序列出各城市或地区，按照同样的方法计算它们在两个时间段的流量上涨倍数。

如上表所示，在2017年排名前30的城市或地区中，定西、台湾、香港、杭州的流量上涨倍数远高于其他城市或地区，而兰州的流量上涨倍数最低。杭州和台湾的上涨倍数高，有可能是因为原来基数低，这两个城市或地区在 A 时间段分别排第19和第20名。兰州的流量上涨倍数低，有可能是因为兰州的部分流量被误认为定西。即便当真如此，那定西的流量上涨倍数如此之高，会仅仅只是因为混入了兰州流量么？Sci-Hub 全站流量上涨倍数是2.712，全中国的流量上涨倍数是3.089，即使在定西 A 时间段月均流量15,246的基础上涨3倍，再加上兰州 A 时间段月均流量22,353的1倍，也只有68,091，仍然远不及定西 B 时间段月均流量178,972。

那么有没有可能定西流量中不仅混入了兰州流量，甚至是混入了全国其他城市或地区的流量呢？由于排名前30的其他城市或地区的流量上涨倍数都与全中国流量上涨倍数3.089差别不大，暂时排除它们各有1倍 A 时间段流量也混入定西 B 时间段流量中的可能性。剩下的城市或地区在 A 时间段的总流量是556,807，月均流量是92,801，在 B 时间段的总流量是2,504,995，月均流量是208,750，那么流量上涨倍数是2.249。假如强行认定排名30名以外的城市或地区全都有1倍的 A 时间段流量在 B 时间段被误认为定西流量，即在定西 A 时间段月均流量68,091的基础上加上92,801得到160,892，也仍然低于 B 时间段定西月均流量178,972。由此推断，B时间段的定西流量中一定混入了大量除中国（含中国台湾、中国香港、中国澳门）以外的流量。

为了强化推理结果，接着计算从 A 时间段到 B 时间段的独立 IP 数量的上涨倍数。Sci-Hub 全站在 A 时间段的总 IP 数量是 3,003,706，在 B 时间段是14,937,788。A 时间段只有6个月，B 时间段有12个月，虽然一般来说每个 IP 可以在每个月都上 Sci-Hub 网站下载文献，但为了与流量上涨倍数相对比，这里依然计算月均独立 IP 数，得到 Sci-Hub 的 IP 上涨倍数是2.486。全中国在 A 时间段的独立 IP 总数是264,135，在 B 时间段是1,784,246，IP 上涨倍数是3.377。

如上，在2017年流量排名基础上，计算这些排名前30的城市或地区的 IP 上涨倍数，整体上看 IP 上涨倍数和流量上涨倍数是接近的。定西在 A 时间段 IP 数是7,682，在 B 时间段 IP 数是148,096，兰州在 A 时间段 IP 数是 5,906，在 B 时间段 IP 数是17,951，定西 A 时间段月均 IP 数乘以3倍再加上2倍兰州 A 时间段月均IP数等于5,809，依然低于定西 B 时间段月均IP数12,341。

倘若 B 时间段大量定西流量来源于“中国其他城市或地区”，那么有两种原因，一是大量其他城市 IP 被错误解析为定西，但这种“失误”似乎太离谱，若果真如此，定西的24小时流量趋势应与国内其他城市一样，第三个波峰不会反常地最高；二是其他城市用户运用网络代理服务来使用定西 IP，但何必呢。综合来看，B 时间段的定西流量里除了可能混入兰州流量，最大可能是混入了大量除中国以外的境外流量。

4. 定西流量的组成部分

如果2017 年的定西流量由“身在定西”的用户、“身在兰州”的用户以及“身在境外”的用户所贡献，那么又为何会造成定西24小时流量趋势中第三个波峰最高的表象呢？若要弄清楚这个问题，需进一步探索定西流量的组成部分。

       ip                freq              user_cnt         city_cnt  country_cnt     date_cnt           doi_cnt          lat_cnt     lon_cnt
 Min.   :       1   Min.   :     1.0   Min.   :     1.00   Min.   :1   Min.   :1   Min.   :  1.000   Min.   :     1.0   Min.   :1   Min.   :1
 1st Qu.: 4199748   1st Qu.:     1.0   1st Qu.:     1.00   1st Qu.:1   1st Qu.:1   1st Qu.:  1.000   1st Qu.:     1.0   1st Qu.:1   1st Qu.:1
 Median : 8462909   Median :     2.0   Median :     1.00   Median :1   Median :1   Median :  1.000   Median :     2.0   Median :1   Median :1
 Mean   : 8503853   Mean   :    10.1   Mean   :     3.73   Mean   :1   Mean   :1   Mean   :  2.605   Mean   :     9.1   Mean   :1   Mean   :1
 3rd Qu.:12786557   3rd Qu.:     5.0   3rd Qu.:     2.00   3rd Qu.:1   3rd Qu.:1   3rd Qu.:  2.000   3rd Qu.:     4.0   3rd Qu.:1   3rd Qu.:1
 Max.   :17208864   Max.   :404071.0   Max.   :170723.00   Max.   :1   Max.   :1   Max.   :329.000   Max.   :390389.0   Max.   :1   Max.   :1

从最初的数据表象来看，定西之谜的谜题有两点：

1. 定西市本身没有知名科研机构，为何在 Sci-Hub 网站的下载流量那么高，仅次于北京、上海？

2. 北京、上海等城市或地区的24小时流量变化趋势都是出现3个波峰，且第3个波峰最低，为何定西市第3个波峰反而是最高的？

为了尝试解开定西之谜，本文进行了一些探索性数据分析，并且得到了以下几条线索：

1. 由于正常人类的身体需要休息，各城市的24小时流量趋势整体上呈现出三个波峰和两个波谷，且第三个波峰最低更符合现实。但若是拆分成工作日和周末来看，仅有工作日第三个波峰最低。

2. Sci-Hub提供的2017年下载日志数据中，时间字段并没有标识时区，在24小时流量趋势图的基础上，时间轴往后推移5个小时与常识更相符。

3. 引入2015.9-2016.2的数据与2017年的数据进行对比，Sci-Hub全站的月均流量上涨倍数是2.712，全中国（含中国台湾、中国香港、中国澳门）的月均流量上涨倍数是3.089，而定西为11.74，兰州为1.52。

4. 拆分出以 IP 为主的“1天”、“2天”、“3天”、“4-7天”、“8-30天”、“30天以上”等6个层次的数据，“1天”条件下各城市或地区均是第三个波峰最高，“30天”条件下各城市或地区均是第三个波峰最低。

5. （仅本文作者猜测）2017年数据中 IP 与 USER 的关系是路由与设备。将数据拆分成 IP 与 USER 一对一、IP 与 USER 一对多、IP 与 USER 多对一、IP 与 USER 多对多等四种情况，其中 IP 与 USER 一对多、IP 与 USER 多对多这两种情况所贡献的流量占比最多。而定西流量仅在 IP 与 USER 一对多条件下呈现出第3个波峰最低的特点。

虽然探索到最后，定西市的流量之谜并没有完全解开，但结合以上线索，本文得出的结论是：定西流量中混入了兰州流量以及大量中国境外的流量，其中仅有三到四成来自于定西以及“被误认为定西的兰州”，这些当地或邻近地区的流量特点是用户的使用周期在30天以上，且属于“IP 与 USER 一对多”的情形，也就是正常人类用户在局域网内使用设备登录 Sci-Hub，而混入定西的境外流量属于“IP 与 USER 多对多”的情形，这部分流量占比最多且第3个波峰最高，最终导致定西流量从整体上看总量高且第3个波峰最高。

本（咸）文（鱼）作（人）者（类）认为，Sci-Hub 网站提供的下载日志数据虽然字段不多，但是可以拆分出极丰富的维度进行分析，对它的探索可以是无穷无尽的。也仍然还有很多方（脑）向（洞）值得继续探（填）索（坑），比如：

1. 根据 DOI 引入文献元数据，从更加细微的粒度进行探索，区分出真正的非自然流量。Sci-Hub网站的其中一个镜像还提供了两份数据供下载分析，一是“a full list of Sci-Hub dois”，二是“an SQL table with metadata for every article”。

2. 引入各城市或地区的教育科研投入经费、大学生人数、科研从业人数等，从更多维度上进行交叉验证。

6. 运行环境

在 RStudio IDE 内编辑本文的 R Markdown 源文件，用 blogdown (Xie, Hill, and Thomas 2017) 构建网站，Hugo 渲染 knitr 之后的 Markdown 文件，得益于 blogdown 对 R Markdown 格式的支持，图、表和参考文献的交叉引用非常方便，省了不少文字编辑功夫。文中使用了多个 R 包，echarts4r (Coene 2022)绘图交互图形，data.table(Dowle and Srinivasan 2021) 包处理数据，rcrossref (Chamberlain et al. 2020)获取文章元数据。

为方便复现本文内容，下面列出详细的环境信息：

xfun::session_info(packages = c(
  "knitr", "rmarkdown", "blogdown",
  "echarts4r.maps", "echarts4r", "countrycode",
  "rcrossref", "data.table"
), dependencies = FALSE)

## R version 4.2.0 (2022-04-22)
## Platform: x86_64-apple-darwin17.0 (64-bit)
## Running under: macOS Big Sur/Monterey 10.16
##
## Locale: en_US.UTF-8 / en_US.UTF-8 / en_US.UTF-8 / C / en_US.UTF-8 / en_US.UTF-8
##
## Package version:
##   blogdown_1.9         countrycode_1.3.1    data.table_1.14.2
##   echarts4r_0.4.3      echarts4r.maps_0.0.2 knitr_1.39
##   rcrossref_1.1.0      rmarkdown_2.14
##
## Pandoc version: 2.18
##
## Hugo version: 0.91.2

7. 参考文献

1. Elbakyan, Alexandra. (2020). Sci-Hub download log 2011-2013 [Data set]. Zenodo. https://doi.org/10.5281/zenodo.5918542↩︎

2. Elbakyan, Alexandra; Bohannon, John (2021), Data from: Who’s downloading pirated papers? Everyone, Dryad, Dataset, https://doi.org/10.5061/dryad.q447c↩︎

3. Alexandra Elbakyan. (2018). Sci-Hub download log of 2017 [Data set]. Zenodo. https://doi.org/10.5281/zenodo.1158301↩︎