爬虫如何爬取并批量下载图片的
爬虫,下载,图片 分类:最新资讯 作者:太阳HTTP运营管理团队

  互联网上有着海量的图片资源,如何获取到大量的图片呢?当然是用爬虫来爬取了,这样就可以轻松地把我们想要的图片批量的下载到本地了。今天太阳HTTP就为大家分享一下爬虫是如何爬取并批量下载图片的。

代码如下:

import urllib

from bs4 import BeautifulSoup

#beautifulsoup方法,第三方库的方法,爬找网页 

## 下载网页

def get_content(url):

    '''

    @url:需要下载的网址

    下载网址

    '''

    html = urllib.request.urlopen(url)

    content = html.read().decode('utf-8')#转码

    html.close()#记得要将打开的网页关闭

#    print (type(content))

    return content   

def get_image(info):

    '''

    利用Soup第三方库实现抓取

    '''

    soup = BeautifulSoup(info,"lxml")#设置解析器为“lxml”

    all_image = soup.find_all('img',class_ = "BDE_Image")

    x=1  

    for image in all_image:

        print(all_image)

        urllib.request.urlretrieve(image['src'],"D:\\python\\图片\\%s.jpg"%(x))

        x+=1

url = "网址

info = get_content(url)  

print (info) 

get_image(info)

  以上就是关于爬虫如何爬取并批量下载图片的相关介绍了,太阳HTTP可为您提供海量IP资源,助您不间断获取行业数据,赢在大数据时代!


客户经理
1740088888 17696581266
在线咨询

售后客服1

在线售后,实时响应

售后客服2

在线售后,实时响应

太阳大客户经理

15305445551
微信客服

定制