Python是一种流行的编程语言,可以实现各种任务,包括爬取店铺数据。下面介绍如何使用Python爬取店铺数据的过程。
#导入所需的库 import requests from bs4 import BeautifulSoup #定义函数获取网页内容 def get_html(url): response = requests.get(url) return response.text #定义函数获取店铺名称和星级 def get_shop_info(html): soup = BeautifulSoup(html, 'html.parser') shop_name = soup.find('div', {'class': 'shop-name'}).text.strip() stars = soup.find('span', {'class': 'stars'}).get('title').strip() return shop_name, stars #定义函数获取店铺评论 def get_reviews(html): soup = BeautifulSoup(html, 'html.parser') reviews_list = [] reviews = soup.find_all('div', {'class': 'review'}) for review in reviews: review_text = review.find('div', {'class': 'review-text'}).text.strip() reviews_list.append(review_text) return reviews_list #主程序 if __name__ == '__main__': url = 'https://www.dianping.com/shop/12345678' html = get_html(url) shop_name, stars = get_shop_info(html) reviews_list = get_reviews(html) print('店铺名称:', shop_name) print('店铺评分:', stars) print('店铺评论:') for review in reviews_list: print(review)
以上代码中,使用了requests库和BeautifulSoup库获取网页内容和解析HTML。使用get_shop_info函数获取店铺名称和星级,使用get_reviews函数获取店铺评论。最后,在主程序中将获取到的数据输出。
需要注意的是,这里只是一个示例代码,要实现爬取不同店铺的数据,需要修改代码中的url参数。