2.访谒他的url获取bcrumbLabelId是由于js简单衬着出来的在id="labelId" value="(.*?) 中,如果取不到值该页面为一个优惠卷页面或者其他页面

3.url从头拼接{bcrumbLabelId}/0/20 ,0为起始,20为取的条数(固定)

4.会获得一个商品的页面非json,此中<div class="jsNumberFound hidden">(.*?)</div> 获取他的总条数

如果起始页码<总条数,起始页码+20>总条数 获得总条数-起始页码

如果起始页码>总条数 返回的html页面此中一个标签内值为

5.可以通过正则或者xpath获取他的详情页的url

6.访谒详情页url,返回的数据与页面显示的内容不异

1.访谒https://www.snapdeal.com/search?keyword={搜索的内容}

2.批量?keyword={搜索的内容} 此中/0/20/20,0为固定,10为起始,20为取的条数(固定),

3.会获得一个商品的页面非json,此中<div class="jsNumberFound hidden">(.*?)</div>获取他的总条数

如果起始页码<总条数,起始页码+20>总条数 获得总条数-起始页码

如果起始页码>总条数 返回的html页面此中一个标签内值为

4.可以通过正则或者xpath获取他的详情页的url

5.访谒详情页url,返回的数据与页面显示的内容不异

国外电商网站snapdeal爬取流程

标签：

原文地点：https://www.cnblogs.com/pythonywy/p/12111169.html