优艾设计网

使用scrapy结合selenium和PhantomJS抓取动态内容,感觉是多余的??

爬虫初学者的疑问
看了scarpy框架图,优艾设计网_设计LOGO有个疑问。
如果在DownloadMiddleware中添加selenium+PhantomJS抓取动态内容的话,事实上等于发了两次请求,一次请求由Scrapy发,另一次请求由selenium发出,这样第一个是不是有点多余,而且还降低了效率,我这个说法对吗?
麻烦请各位大神解答。如果,的确冗余,除了多带带用selenium和PhantomJS来抓取以外,结合scrapy有什么方法能通过代码的方式,让Scrapy不发请求?


0

上一篇:

下一篇:

精彩评论

暂无评论...
验证码 换一张
取 消

最新问答

问答排行榜