爬虫如何爬取京东上的手机图片?
爬虫,爬取 分类:最新资讯 作者:太阳HTTP运营管理团队

爬虫如何爬取京东上的手机图片?

代码如下:

import re

import urllib.request

def craw(url,page):

#获取网页源代码

html1 = urllib.request.urlopen(url).read()

html1 = str(html1)

#对网页源码进行过滤,只保留和产品列表相关的信息

pat1 = '

 '

result1 = re.compile(pat1).findall(html1)

result1 = result1[0]

#print(result1)

#再次过滤,提取网页中图片的链接,并将链接地址存储在列表中

pat2 = ''

imagelist = re.compile(pat2).findall(result1)

x = 1

#遍历列表,将链接存储到本地

for imageurl in imagelist:

imagename = "D:/jd/img1/" + str(page) + str(x) + ".jpg"

imageurl = "http://" + imageurl

try:

urllib.request.urlretrieve(imageurl,filename=imagename)

except urllib.error.URLError as e:

if hasattr(e,"code"):

x+=1

if hasattr(e,"reason"):

x+=1

x+=1

#通过for循环,将该分类下的所有网页都爬取一遍

for i in range(1,88):

url = "https://list.jd.com/list.html?cat=9987,653,655&page="+str(i)

craw(url,i)


客户经理
1214413489 17696587966
在线咨询

售后客服

在线售后,实时响应

太阳大客户经理

15305445551
微信客服
免费套餐
大客户
专属客户经理
1214413489
17696587966

微信二维码

公众号

关注公众号

免费领试用

意见反馈
置顶