如何用 Python 的基础功能写一个爬虫

使用Python的基础功能编写一个爬虫主要涉及利用请求库（如requests）发起网络请求、解析库（如BeautifulSoup或lxml）解析HTML内容、以及编写逻辑代码进行数据抓取。首先，通过requests库发送GET或POST请求来获取网页。此后，通过解析库解析所得的内容，以选取所需数据。最终，将抓取的数据保存到文件或数据库中。接下来，我们将详细描述每个步骤是如何通过Python的基础功能实现的。

一、请求网页

在爬虫程序中，首先需要发送网络请求以获取网页内容。requests 是Python中非常流行的HTTP库，它简洁易用，可以发送HTTP请求。

import requests

def fetch_url(url):
    try:
        response = requests.get(url)
        if response.status_code == 200:
            return response.text
        else:
            print(f"请求网页出错, 状态码：{response.status_code}")
            return None
    except Exception as e:
        print(f"请求过程中出现异常：{e}")
        return None

二、解析HTML内容

获取了网页的HTML内容后，我们需要从中提取我们关心的数据。BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库。使用这个库可以轻松地提取标签内容、属性等。

from bs4 import BeautifulSoup

def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 假设我们需要提取页面中所有的链接
    links = soup.find_all('a')
    return links

三、数据提取

在解析HTML并确定我们关心的数据如何在文档中组织之后，接下来是提取具体数据的环节。

def extract_data(links):

    extracted_data = []
    for link in links:
        href = link.get('href')
        text = link.get_text()
        if href and text:
            extracted_data.append({'href': href, 'text': text})
    return extracted_data

四、保存数据

提取的数据通常需要被保存下来以便之后的使用或分析。数据可以被保存在多种格式中，如CSV、JSON、或数据库。

import json

def save_data(data, file_name='data.json'):
    with open(file_name, 'w', encoding='utf-8') as file:
        json.dump(data, file, ensure_ascii=False)

五、完整的爬虫流程

最后，将以上的函数结合起来，形成一个完整的爬虫流程。

def mAIn(url):

    html = fetch_url(url)
    if html:
        links = parse_html(html)
        data = extract_data(links)
        save_data(data)
        print("数据抓取完成。")
    else:
        print("未获取到HTML内容。")
if __name__ == "__main__":
    url_to_scrape = "http://example.com"  # 修改为实际想要爬取的网址
    main(url_to_scrape)

将上述代码保存在一个.py文件中，并执行它，就完成了一个简单的爬虫程序。值得注意的是，在进行网页爬取前，要检查网站的Robot协议以确保合法爬取，同时也要合理设置请求频率，防止对目标网站造成不必要的负担。

相关问答FAQs：

Q: 如何使用Python编写一个简单的网页爬虫？

A: 若要使用Python编写一个简单的网页爬虫，可以按照以下步骤进行操作：

1. 导入所需的库（如requests、beautifulsoup等）。
2. 使用requests库发送HTTP请求并获取网页内容。
3. 使用beautifulsoup库解析网页内容，提取所需的数据。
4. 可以进一步处理数据，如过滤、清洗或存储到文件或数据库中。

Q: 如何利用Python爬虫自动获取某个网站上的所有图片？

A: 这里是使用Python编写一个简单的图片爬虫的步骤：

1. 使用requests库发送HTTP请求获取网页内容。
2. 使用正则表达式或beautifulsoup库解析网页内容，提取所有图片的URL。
3. 通过遍历图片URL列表，使用requests库下载图片并保存到本地。

注意：为了避免给对方网站服务器带来过大的负担，最好在爬取图片时添加适当的延时，并设置合理的爬取间隔和流量限制。

Q: 如何用Python编写一个爬虫来监测网站的变化？

A: 若要使用Python编写一个监测网站变化的爬虫，可以按照以下步骤进行操作：

1. 使用requests库发送HTTP请求获取网页内容，并将其保存为初始版本。
2. 设定一个循环，定期（如每隔一段时间）执行以下步骤：
   a. 发送HTTP请求获取最新的网页内容。
   b. 将最新的网页内容与初始版本进行比较，检查是否有变化。
   c. 如果有变化，可以发送通知或执行其他自定义操作。

注意：为了避免频繁请求对方服务器，可以使用合适的爬取间隔，并合理处理异常情况如网站无法访问、返回错误码等。