网站预缓存工具，提升网站整体加载速度

由于电信宽带和谐了443端口，近期我花了不少时间折腾了下近半年都没瞅一眼的博客。经过一番折腾（详见前文），博客总算可以运行在家里的NAS上，整体部署方案如下：

一、预缓存

从上图可以看到，由于中间用于代理转发的腾讯云CDN和阿里云CDN都是没有缓存的，如果CloudFlare的缓存过期，将需要绕过多层链路回源获取网页内容，相比速度就会慢很多。所以，需要在用户访问之前，先将页面缓存到CloudFlare，这样用户访问就快多了，这就是预缓存的概念。

WordPress插件wp-super-cache以及国内部分CDN都提供了预缓存功能，所以，这是一个很实用的优化。不过CDN提供的热缓存功能都需要用户手工去提交代码，而预热接口则有诸多限制，如图：

相比于这些限制、复杂度，本文分享的预缓存工具就简单粗暴多了，直接模拟浏览器定期访问来实现预缓存，无任何限制！

其实之前在博客也分享过一个预缓存Shell脚本，确实也可以用，就是效率太低，而且不能指定源站来缓存（除非改造下），于是花了点时间重新写了一个Python版本，支持异步、并发请求网页实现预缓存，而且支持指定具体的主机IP+端口，从而可以支持多CDN、本地缓存等复杂场景。

下面简单介绍下这个新工具的原理及使用方法。

二、工作原理

和之前分享的Shell版本一样：工具会模拟浏览器对网站地图sitemap.xml中的网址进行请求，从而实现这些网页的预缓存。当然前提是你的网址启用了静态缓存或者开启了CDN全站缓存，启用缓存的相关教程可以参考前文：

在相同原理的基础上，这次的工具也增强了一些特性，请继续往下看使用说明。

三、使用说明

1、基于Docker运行

熟悉Docker的朋友可以基于Docker容器来跑这个工具（Docker安装参考前文），依赖插件都已经集成好了，就不需要入侵本地环境了，命令如下：

如果是拉取DockerHub的速度太慢，也可以先在本地编译Docker镜像，再跑上面的命令，编译方法如下：

2、基于代码运行

基于代码运行需要先初始化一下Python环境，按装工具所依赖的组件，具体命令如下：

依赖环境初始化完成后，执行如下命令开始预缓存：

3、基于对象引用

同样工具也支持在其他Python脚本中来作为对象引用，示例代码如下：

4、执行结果

正常执行结果如下所示：

上面就是快速尝鲜使用这个工具的方法，下面详细介绍工具参数。

5、参数介绍

--help、-h 参数打印帮助信息：

其他参数如帮助信息所示，简单说明如下：

参数必须默认值说明--sitemap / -s是无指定网站地图sitemap文件网址，必须为xml文件格式。--cacheheader / -c否无指定响应头里面的缓存标识名称，比如CF为cf-cache-status，不指定不影响功能，但是无统计信息。--host / -H否无指定具体主机来访问页面，即绕过CDN或代理访问真实主机，支持端口，比如 127.0.0.1:8080。--size / -S否20指定预缓存时并发访问的数量，并非越大越好，需要自定测试整体耗时来得出最佳值。--useragent / -u否见说明自定义请求时的User-Agent标识来模拟客户端，默认值：Pre-cache/python-requests/xx.xx。--timeout / -t否10指定单个请求的超时时间，默认10秒。--verify / -v否False是否验证SSL证书，保持默认即可，开启验证可能无法支持指定--host来预缓存。

这里，挑几个比较核心的参数继续展开说明下。

--sitemap

整个工具的原理是先请求sitemap内容，然后对sitemap里面的url进行爬扫，因此--sitemap这个参数是必须参数，指定为网站的sitemap地址即可，比如：--sitemap=https://zhang.ge/sitemap.xml，需要注意的是这个xml必须是xml格式，这里推荐使用我博客之前分享的sitemap纯代码版本。如果是用插件生成的，可能是多个sitemap地址，然后有一个汇总的sitemap导航，这种情况的话只需要将这个参数指定为具体的分页sitemap地址，且需要分别执行多次。

--cacheheader

这个参数是指定网页被缓存后，Header头部中的HIT标识，常见的头部标识如下：

缓存类型头部名称常见值Nginx 缓存X-Cache/或自定义HIT，MISS，EXPIRED，BYPASSCloudFlarecf-cache-statusHIT，MISS，EXPIRED，DYNAMIC腾讯云CDNx-cache-lookupHIT/MISS/EXPIRED/BYPASS From Upstream/XXX阿里云CDNX-CacheHIT，MISS，EXPIRED，BYPASS

如果不在上述类别或者自定义过，我们也可以通过浏览器开发者模式查看，方法为：浏览器打开页面-->F12-->NETWORK-->刷新-->查看响应头：

一般出现有HIT，MISS，EXPIRED，BYPASS 值的就是我们这个参数需要指定的名称，比如图中的 cf-cache-status，那我们运行工具的时候只需要指定为 --cacheheaer=cf-cache-status 即可。当然，如果有多层缓存时，需要注意甄别。比如CDN有个HIT，本地Nginx也有个HIT，那么看你需要缓存那个就指定哪个了。

--host

这个参数就比较实用了，可以指定真实IP来访问网页，且支持自定义端口。比如 --host=127.0.0.1 或 --host=127.0.0.1:8080，指定后工具将会请求到指定的主机进行资源拉取实现指定节点预缓存。比如张戈博客开了CDN缓存同时本地也开启了Nginx缓存，我就可以如下分2步执行：

其他参数比较简单，就不展开赘述了，看上文的表格即可。

6、定时任务

上文已经详细介绍了如何运行这个工具，那接着我们需要通过crontab添加一个定时任务，定期进行预缓存。比如我博客需要在本地、百度云加速以及CloudFlare 3个层面做预缓存，那么就将基于Docker运行的命打包成shell脚本，并按照先预缓存本地，然后再缓预存CDN的顺序：

然后在系统crontab里面添加一个定时任务，每小时执行一次：

这样就能实现定期网站预缓存了，其他网站可以参考添加。

四、工具反馈

以上就是这个工具的详细介绍了，整体设计、代码逻辑都比较简单，目前这个工具已经上传到了Github，并且在Docker Hub制作了Docker镜像，大家使用后觉得实用的话可以给个星星，有什么建议也可以留言或github提issue：

EnJoy it！