有些博主设置半年可见，或者已经删除了，能直接跳过这些页面嘛

[ljh12315]

有些博主设置半年可见，或者已经删除了，能直接跳过这些页面嘛

[ljh12315]

程序中计算用户pages的算法为微博数/10。如果该用户5年每年发了2000条微博，且设置仅半年可见。按算法页码 = 10000/10 = 1000页。但由于仅半年可见，实际页面数仅有100页。程序爬到100页后会自动尝试爬后续900页，造成时间浪费。建议可以检查每次爬取页面的内容，若连续为空页面，则爬取下一个用户。

[dataabc]

感谢建议，有时间实现下。