爬取www.sohu.com/nba及其所有子页面中文本有“科比”字样的文章

[yaoyuanyy]

解决这个问题：page.addTargetRequests(page.getHtml().links().regex("(https://sohu\\.com/[\\w\\-])").all());这么定义呢，貌似不能找到目标url的所有子页面

[code4craft]

看你的描述，页面里有的内容，是不能通过url判断到的。你需要抓取到页面然后进行判断。

[orlandotian]

目标url的子页面应该是//a/@href之类的xpath用法吧

[yaoyuanyy]

解析给定url的所有子url，如给定的url为：https://github.com/code4craft， page.addTargetRequests(page.getHtml().links().regex("https://github.com/code4craft/\\d+/answer/\\d+.*").all());
通过正则表达式比配所有的url的子url,子子url, 也就是https://github.com/code4craft/**/**/**/**······ 这样的需求例子，博主好像没有