
最近想采集几个网站的数据,分析了一下网站是vue js写成的,虽然是动态网站,但因为采用的vue写的前端,数据全部都是json格式的,比直接采集静态网页的html再清洗数据方便多了。
源数据是公开可访问的数据 json 数据,虽然单条数据id没有规律可寻,但是api接口的全部搜索和搜索分页接口的URL有规律可寻,而且都是按照列表分页的,还给定义了传递每页取多少条的参数。
通过固定的命令就可以采集到,以前的时候我可能会手工采集一下。本来是考虑自己写个 js 脚本通过chrome的调试工具采集以后再写个程序接口回传采集到的数据的。
[……]










