爬虫如何爬取58同城二手物品信息
爬虫,58同城,二手物品 分类:最新资讯 作者:太阳HTTP运营管理团队

  在二手物品交易网上,我们可以低价淘物品,也可以把闲置物品放在上面出售。现在越来越多的人,在二手交易网上发布信息。今天太阳HTTP就为大家分享一下,如何用爬虫来爬取58同城上的二手物品信息。这里我们主要爬取商品的标题、价格和发布的时间。

代码如下:

import requests

from bs4 import BeautifulSoup

 

def get_links_from():

    urls = []

    list_view = '目标网址'

    wb_data = requests.get(list_view)

    soup = BeautifulSoup(wb_data.text,'lxml')

    for link in soup.select('a.title.t'):

        urls.append(link.get('href'))

    return urls

# print(get_links_from())

 

def get_item_info():

    urls = get_links_from()

    for url in urls:

        wb_data = requests.get(url)

        soup = BeautifulSoup(wb_data.text,'lxml')

 

        title = soup.title.text

        price = soup.select('span.price.c_f50')[0].get_text() if len(soup.select('span.price.c_f50'))>0 else None

        time = soup.select('li.time')[0].get_text()

        data = {

            'title':title,

            'price':price,

            'time':time

        }

        print(data)

 

get_item_info()

  以上就是关于爬虫如何爬取58同城二手物品信息的相关介绍了,太阳HTTP可为您提供海量IP资源,极速切换,永久去重,助您不间断获取行业数据,赢在大数据时代!


客户经理
761372738 17696580188
在线咨询

售后客服

在线售后,实时响应

太阳大客户经理

15305445551
微信客服

定制