解决Pandas read_html无法识别动态加载表格的问题

---

当pandas.read_html无法从网页中提取表格时，通常是因为表格内容是动态加载的，而非直接存在于初始html源码中。本教程将指导您如何利用浏览器开发者工具识别这些动态数据请求（xhr），并通过python的requests库模拟这些请求，直接获取json格式的原始数据，最终使用pandas将其转换为dataframe，从而有效解决动态表格的数据抓取问题。

理解pandas.read_html的局限性

pandas.read_html是一个非常便捷的函数，它能够解析HTML文档中的

标签并将其转换为DataFrame列表。然而，它的工作原理是解析网页的初始HTML源代码。这意味着，如果网页上的表格数据是通过J*aScript在页面加载完成后动态生成的（例如，通过AJAX或XHR请求从后端获取数据并渲染），read_html在检查原始HTML时将无法找到这些表格，从而返回一个空列表。即使使用Selenium等工具获取渲染后的HTML，如果数据本身是通过J*aScript注入到空表格结构中的，get_attribute('outerHTML')也可能返回一个空的表格框架。

识别动态加载的数据源

解决这类问题的关键在于找出J*aScript是从何处获取这些动态数据的。这通常涉及到监控浏览器的网络活动。

1. 打开浏览器开发者工具： 在目标网页上，按下F12键（或右键点击页面选择“检查”），打开开发者工具。
2. 切换到“网络”（Network）选项卡： 此选项卡显示了浏览器加载页面时发出的所有请求。
3. 筛选XHR/Fetch请求： 在“网络”选项卡中，通常有一个筛选器，选择“XHR”或“Fetch/XHR”。这些是异步J*aScript和XML/HTTP请求，它们通常用于动态加载数据。
4. 重新加载页面或触发数据加载： 刷新页面，或者执行任何会触发表格数据显示的操作（例如点击分页、筛选按钮），然后观察XHR请求列表。
5. 检查可疑请求： 寻找那些看起来像是获取表格数据的请求。点击这些请求，查看其“标头”（Headers）、“负载”（Payload/Form Data）和“响应”（Response）。
   • 请求URL： 这是数据实际发送到的API端点。
   • 请求方法： 通常是GET或POST。
   • 请求负载/表单数据： 如果是POST请求，这里会包含发送给服务器的参数。
   • 响应： 这是服务器返回的数据，通常是JSON格式，也可能是XML或其他文本格式。

通过上述步骤，我们可以发现原始问题中的表格数据并非直接嵌入在HTML中，而是通过一个POST请求发送到https://anex.us/grades/getData/这个URL，并附带了dept和number等参数来获取特定课程的数据。

使用requests库获取动态数据

一旦确定了数据的API端点、请求方法和所需参数，我们就可以使用Python的requests库来模拟这个请求，直接获取原始数据。

Animate AI

Animate AI是个一站式AI动画故事视频生成工具

234查看详情

import requests
import pandas as pd

# 目标API的URL，通过开发者工具的XHR请求中获取
url = 'https://anex.us/grades/getData/'

# 请求负载（payload），根据XHR请求的Form Data或Request Payload确定
# 这里模拟查询ENGR系102课程的数据
payload = {'dept': 'ENGR', 'number': '102'}

# 请求头（headers），模拟浏览器行为，特别是User-Agent，以避免被服务器识别为爬虫
# User-Agent可以从浏览器开发者工具的Request Headers中复制
headers = {
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:120.0) Gecko/20100101 Firefox/120.0'
}

# 发送POST请求
# 对于GET请求，应使用 requests.get(url, params=payload, headers=headers)
response = requests.post(url, data=payload, headers=headers)

# 检查请求是否成功（状态码200）
response.raise_for_status() # 如果请求失败，会抛出HTTPError

# 解析JSON响应
# 大多数动态数据API会返回JSON格式
data = response.json()

# 将JSON数据转换为Pandas DataFrame
# 根据JSON结构，数据通常嵌套在某个键下，例如这里的'classes'
df = pd.DataFrame(data['classes'])

# 打印DataFrame的前几行以验证数据
print(df.head())

输出示例：

    dept number section   A   B   C  D  F  I  S  U   Q  X           prof  year semester               gpa
0   ENGR    102      20  18  17   8  2  3  0  0  0   1  0        AMINI N  2018     FALL            2.9375
1   ENGR    102      21  18  31  15  4  1  0  0  0   0  0        KOOLA P  2018     FALL  2.88405797101449
2   ENGR    102      22  10  28  16  2  3  0  0  0   0  0         SHAW S  2018     FALL  2.67796610169492
3   ENGR    102      26   9  24  10  4  6  0  0  0   0  0  SUBRAMANIAN R  2018     FALL  2.49056603773585
4   ENGR    102     201  21  12   1  1  0  0  0  0   0  0         IJAZ M  2018     FALL  3.51428571428571

注意事项与最佳实践

1. User-Agent的重要性： 在headers中设置User-Agent可以模拟真实的浏览器请求，这对于避免某些网站的反爬机制非常重要。
2. 请求方法（GET vs. POST）： 根据开发者工具中XHR请求的“方法”字段，选择requests.get()或requests.post()。GET请求的参数通常通过params字典传递，而POST请求的参数通过data字典（或json字典，如果发送JSON数据）传递。
3. 响应数据格式： 大多数现代Web API返回JSON格式的数据，可以直接使用response.json()解析。如果响应是其他格式（如XML、CSV、纯文本），则需要使用相应的库或方法进行解析。
4. 错误处理： 始终添加错误处理机制，例如使用response.raise_for_status()检查HTTP状态码，或者使用try-except块处理网络请求或JSON解析错误。
5. 网站使用条款： 在抓取任何网站数据之前，请务必查阅其robots.txt文件和使用条款，确保您的行为符合规定，避免对网站服务器造成不必要的负担。
6. 何时使用无头浏览器： 如果通过XHR请求仍然无法获取到完整或正确的数据，或者数据在客户端经过复杂的J*aScript处理才最终呈现，那么使用无头浏览器（如Selenium配合Chrome/Firefox）可能是唯一的选择。然而，直接模拟API请求通常效率更高、资源消耗更少。

总结

当pandas.read_html无法正常工作时，通常意味着数据是动态加载的。通过熟练运用浏览器开发者工具，我们可以“窥探”到网页背后数据流动的秘密，识别出数据源的API请求。随后，利用requests库模拟这些请求，直接获取原始数据（通常是JSON），并结合pandas进行数据清洗和结构化，就能高效、精准地抓取到所需信息。这种方法不仅解决了read_html的局限性，也为处理更复杂的动态网页数据提供了强大的解决方案。

以上就是解决Pandas read_html无法识别动态加载表格的问题的详细内容，更多请关注其它相关文章！

# 选项卡  # 怎样做好公司网站建设呢  # 赛道推广方案短视频营销  # 专业网站优化推广报价  # 关键词排名表格怎么做的  # 淘宝网站建设分析  # 论坛营销推广靠谱么  # 网站建设网站设计流程图  # 东莞网站推广效果好  # 新宾网站推广怎么样做的  # 下载站关键词排名怎么做  # 发送到  # 原始数据  # 无法识别  # 我们可以  # 所需  # linux  # 转换为  # 这是  # 加载  # csv  # 后端  # 工具  # 浏览器  # ajax  # json  # js  # html  # java  # python  # javascript 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 西瓜视频怎么查看访客记录_西瓜视频访客记录查看方法  PHP中动态类名访问的类实例类型提示与静态分析实践  申通快递物流信息查询 申通快递包裹状态追踪  win11自带录屏文件保存在哪里 Win11 Game Bar录制视频默认路径【分享】  VS Code源代码管理(SCM)视图的进阶使用技巧  J*aScript字符串_Unicode处理  C++ virtual析构函数作用_C++基类虚析构函数防止内存泄漏  《宝可梦大集结》S4冠军之路开始时间介绍  顺丰快递在线查询系统 顺丰快递官方查单入口  TikTok视频播放不流畅怎么办 TikTok视频播放优化方法  J*aScript对象中深度嵌套URL键的查找与更新策略  Google Cloud Functions 时区处理指南：理解与最佳实践  2025SNH48年度青春盛典门票价格及购买方式  C++如何将字符串转换为大写或小写_C++ transform函数的使用技巧  PPT页面尺寸怎么修改 PPT自定义幻灯片大小与方向设置【教程】  AffinityDesigner图层蒙版怎么用_AffinityDesigner图层蒙版设计应用  天堂漫画网页版在线阅读 天堂漫画手机版入口  企查查官网和爱企查 企查查企业查询官网入口  我的世界官方网址入口 我的世界游戏主页直达入口  《via浏览器》强制缩放网页设置方法  Win10输入法不见了怎么办 Win10找回语言栏图标教程  Pandas中基于动态偏移量实现DataFrame列值位移的策略  泰拉瑞亚网页版在线登录入口 泰拉瑞亚官方正版入口  使用TinyButStrong生成HTML并结合Dompdf创建PDF教程  学习通网页版课程打不开_课程无法访问时的解决方法  cad加载的线型看不见怎么办_cad线型不可见问题解决方法  BunnyStream TUS视频上传指南：解决401认证错误与参数配置  可米酷漫画在线阅读入口_ 可米酷漫画官网直达链接  《爱南宁》认证电动车方法  MySQL多重JOIN技巧：高效关联同一表获取多角色信息  Python模块化编程：避免循环导入与共享函数的最佳实践  谷歌学术论文搜索引擎 谷歌学术官网入口论坛永久链接  sublime怎么在文件中显示代码结构大纲_sublime符号列表功能  优化Leaflet弹出层图片显示：条件渲染策略  OTT月报 | 2025年9月智能电视大数据报告  《i莞家》修改昵称方法  口腔诊所管理软件推荐  《顺丰同城骑士》查看我的技能方法  多闪电脑版下载_多闪PC端模拟器使用  C++如何实现矩阵乘法_C++二维数组矩阵运算代码示例  汽水音乐官方网站登录入口_汽水音乐网页版进入链接  荣耀 Magic10 Pro 系统更新提示失败_荣耀 Magic10 Pro 升级修复  个人所得税办理入口 个人所得税综合所得年度汇算入口  被称为海蜈蚣的海洋动物是  J*aScript包管理器_Npm与Yarn对比  oppo手机如何通过下拉通知栏截图_oppo手机通知栏快捷截图方法  圆通快递包裹轨迹查询 圆通速递快件实时位置跟踪  Composer如何使用composer-plugin-api开发自定义插件  PHP中获取HTTP响应状态消息：方法与限制  mysql怎么查询数据_mysql基础查询语句使用教程 

 2025-11-15