8

实践：如何使用python在网页的表格里抓取信息

 8 months ago
source link: https://blog.51cto.com/u_16489492/9193098
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

实践：如何使用python在网页的表格里抓取信息

精选 原创

叫我兔兔酱 2024-01-11 09:53:40 ©著作权

文章标签 python 抓取 文章分类 机器学习 人工智能 阅读数268

抓取网页表格中的信息通常涉及使用 Python 的 requests 库获取网页内容，然后使用 BeautifulSoup 库解析HTML，从表格中提取所需的信息。下面是一个基本的示例，假设网页包含有关菜籽油的价格和单位的表格。

首先，确保已安装 requests 和 beautifulsoup4 库：

pip install requests
pip install beautifulsoup4

接下来，你可以使用以下代码来抓取表格中的信息：

import requests
from bs4 import BeautifulSoup

# 目标网页的URL
url = 'https://example.com/oil-prices'

# 发送HTTP请求获取网页内容
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 假设表格位于一个特定的ID下，使用find方法找到该表格
    table = soup.find('table', id='oil_prices_table')

    # 检查是否找到了表格元素
    if table:
        # 遍历表格的每一行（除去表头）
        rows = table.find_all('tr')[1:]  # 假设第一行是表头
        for row in rows:
            # 获取每一行的单元格
            cells = row.find_all('td')

            # 提取单元格中的信息
            oil_name = cells[0].text.strip()
            unit = cells[1].text.strip()
            price = cells[2].text.strip()

            # 打印提取的信息
            print(f"菜籽油: {oil_name}, 单位: {unit}, 价格: {price}")
    else:
        print("未找到表格元素")
else:
    print(f"Failed to retrieve the webpage. Status code: {response.status_code}")

请注意，上述代码中的选择器（比如 'table' 和 'td'）以及对表格中每个单元格的索引（cells[0]、cells[1]等）都是基于目标网页实际结构的假设。你需要根据目标网页的实际结构进行调整。使用浏览器的开发者工具（F12）可以帮助你查看网页的HTML结构。

  • 赞
  • 收藏
  • 评论
  • 分享
  • 举报

report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK