在基于关键词抓取时，longtext请求全部报错，构造的链接无法正常打开

[kafumann]

2025-09-05 11:48:02 [scrapy.core.engine] DEBUG: Crawled (403) <GET https://weibo.com/ajax/statuses/longtext?id=Fof8Z7wbC> (referer: https://weibo.com/ajax/statuses/show?id=Fof8Z7wbC)
2025-09-05 11:48:02 [scrapy.spidermiddlewares.httperror] INFO: Ignoring response <403 https://weibo.com/ajax/statuses/longtext?id=Fof8Z7wbC>: HTTP status code is not handled or not allowed

[prosioned]

我也遇到这种情况了 你解决了么？

[kafumann]

@prosioned 应该是不同年份微博longtext的请求格式不一致，我测试了一下，发现request返回的response里是有完整的longtext内容的，所以直接修改代码逻辑进行xpath定位即可，如果检测到longtext就直接定位元素，不用再二次发送请求。

[starsholic]

请问具体代码如何修改呀@ @kafumann