Python网页抓取实战：高效解析Tonies产品时长与价格

---

本文提供了一个使用python进行网页抓取的高效教程，旨在从tonies.com网站提取tonies产品的播放时长和价格。文章解决了传统爬虫在处理shadow dom和cookie接受等复杂问题时的局限性，重点演示了如何利用requests和beautifulsoup库，通过解析网页中嵌入的json数据 (__next_data__脚本标签) 来准确、全面地获取结构化产品信息。

传统网页抓取面临的挑战

在尝试从现代网站（如tonies.com）抓取数据时，开发者经常会遇到一些挑战。例如，网站可能使用J*aScript动态加载内容，导致BeautifulSoup等静态解析工具难以直接获取所有信息。用户可能会遇到复杂的交互元素，如Shadow DOM中的Cookie接受弹窗，这使得使用Selenium等自动化工具也变得复杂。此外，直接解析HTML元素可能需要编写复杂的选择器和正则表达式，且容易因网站结构微小变化而失效，效率低下，且维护困难。最初的尝试可能仅能抓取到部分数据（例如，只抓取到21个项目），无法获取完整的页面信息。

高效的数据获取策略：利用嵌入式JSON

幸运的是，许多现代Web应用（尤其是使用React、Next.js等框架构建的单页应用）会在HTML页面中嵌入结构化的JSON数据，通常位于一个ID为__NEXT_DATA__的<script>标签内。这些JSON数据包含了页面渲染所需的大部分或全部动态信息，包括产品列表、价格、描述等。通过直接解析这些JSON数据，我们可以绕过复杂的HTML元素定位、J*aScript执行以及Shadow DOM等问题，以一种更直接、更高效、更稳定的方式获取所需信息。这种方法不仅能获取更全面的数据（例如，一次性获取196个产品信息），还能减少对页面DOM结构的依赖。</script>

实现步骤

我们将使用Python的requests库发送HTTP请求，BeautifulSoup库解析HTML，以及内置的json库处理JSON数据。

1. 导入必要的库

首先，确保安装了requests和beautifulsoup4库。如果尚未安装，可以通过pip install requests beautifulsoup4进行安装。

import requests
from bs4 import BeautifulSoup
import json

2. 发送HTTP请求并解析HTML

使用requests.get()方法向目标URL发送请求，获取网页内容。为了模拟浏览器行为，建议添加User-Agent头信息。然后，使用BeautifulSoup将HTML内容解析成一个可操作的对象。

NoCode

美团推出的零代码应用生成平台

180 查看详情

url = "https://tonies.com/en-gb/tonies/"
# 添加headers模拟浏览器请求，有助于避免被网站识别为爬虫而拒绝访问
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
}

try:
    response = requests.get(url, headers=headers, timeout=10)
    response.raise_for_status()  # 检查HTTP请求是否成功，如果失败则抛出异常
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")
    # 在实际应用中，这里可能需要更复杂的错误处理或重试机制
    exit()

soup = BeautifulSoup(response.text, "html.parser")

3. 定位并提取JSON数据

这是整个过程的关键一步。我们通过ID选择器#__NEXT_DATA__来定位包含JSON数据的<script>标签，并提取其文本内容。由于这个文本内容是一个JSON字符串，我们需要使用json.loads()将其转换为Python字典。</script>

next_data_script = soup.select_one("#__NEXT_DATA__")
if not next_data_script:
    print("未找到__NEXT_DATA__ script标签，网站结构可能已改变。")
    exit()

try:
    data = json.loads(next_data_script.text)
except json.JSONDecodeError as e:
    print(f"解析JSON数据失败: {e}")
    exit()

4. 结构化处理产品数据

提取出的data字典包含了网站的各种状态和数据。我们需要根据其结构导航到具体的产品列表。对于tonies.com，产品数据通常嵌套在["props"]["pageProps"]["page"]["productList"]["normalizedProducts"]路径下。

try:
    product_list = data["props"]["pageProps"]["page"]["productList"]["normalizedProducts"]
except KeyError as e:
    print(f"导航到产品列表路径失败: {e}，JSON结构可能已改变。")
    exit()

# 定义我们感兴趣的键
use_keys = ["name", "price", "runTime"]

# 遍历产品列表，提取所需信息
tonies_data = []
for product in product_list:
    item_info = {}
    for key in use_keys:
        if key == "price":
            # 价格信息通常嵌套在另一个字典中，需要进一步提取'amount'
            item_info[key] = product.get(key, {}).get("amount")
        else:
            item_info[key] = product.get(key)
    tonies_data.append(item_info)

完整代码示例

将上述步骤整合，形成一个完整的Python脚本：

import requests
from bs4 import BeautifulSoup
import json

def scrape_tonies_data():
    """
    从tonies.com抓取产品名称、价格和播放时长。
    """
    url = "https://tonies.com/en-gb/tonies/"
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    }

    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()  # 检查HTTP请求是否成功
    except requests.exceptions.RequestException as e:
        print(f"请求失败: {e}")
        return []

    soup = BeautifulSoup(response.text, "html.parser")

    next_data_script = soup.select_one("#__NEXT_DATA__")
    if not next_data_script:
        print("未找到__NEXT_DATA__ script标签，网站结构可能已改变。")
        return []

    try:
        data = json.loads(next_data_script.text)
        product_list = data["props"]["pageProps"]["page"]["productList"]["normalizedProducts"]
    except (json.JSONDecodeError, KeyError) as e:
        print(f"解析JSON数据或导航路径失败: {e}

以上就是Python网页抓取实战：高效解析Tonies产品时长与价格的详细内容，更多请关注其它相关文章！

# javascript  # python  # java  # html  # js  # json  # 正则表达式  # react  # 西藏seo优化公司方案  # 郑州网站建设排名靠前  # 长春网站推广收费  # 2014seo视频教程  # 网站设计建设公司靠谱吗  # 网站优化怎么优化出来的  # seo插画教程  # 武汉矩阵seo有效果吗  # 包子推广软文营销例子  # 注册推广网站  # 未找到  # 仅能  # 提供给  # 结构化  # 选择器  # 后端  # 所需  # 时长  # 加载  # cook  # windows 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： 123平台官方登录入口 123邮箱网页端在线沟通工具  电脑从睡眠中被自动唤醒怎么办_Windows唤醒源事件查看与禁用【解决】  《王者荣耀世界》英雄获取攻略  驱动人生：游戏修复指南  谷歌邮箱官方入口链接 谷歌邮箱网页版电脑端快速登录  word文档行距怎么调？word文档调行距的操作步骤  服装短视频如何起号推广？服装短视频起号推广有什么要求？  B站怎么开|直播| B站|直播|申请需要什么条件【新手必看】  PHP魔术方法__set与__isset：设计考量、性能权衡与静态分析的视角  解决CSS容器溢出问题：使用calc()实现精确布局与边距控制  qq邮箱怎么注册_QQ邮箱注册步骤与注意事项  @Team是什么？揭秘团队含义  Win11怎么录屏_Windows 11自带Xbox Game Bar录制视频  TikTok笔记文字无法编辑如何解决 TikTok笔记文字编辑优化方法  Golang如何实现HTTP请求重试机制_Golang HTTP请求错误处理策略  AngularJS动态内容中DOM元素查找的时序问题及$timeout解决方案  《盗墓笔记手游》技能介绍  智慧团建活动报名入口 智慧团建活动报名入口手机端官网​  国际经济与贸易就业方向解析  阿里云共享相册入口在哪  CodeIgniter 3 连接 SQL Server：正确获取查询结果的教程  泰拉瑞亚网页版在线登录入口 泰拉瑞亚官方正版入口  小米手机截图后如何查看历史_小米手机截图历史记录查看方法  视频号视频怎么提取文案?提取的文案如何优化与使用?  lol小红书怎么|直播|？lol小红书|直播|是什么意思？  在XML中嵌入二进制数据（如图片）的最佳实践是什么？ Base64编码与解析注意事项  微信朋友圈怎么设置三天可见 微信朋友圈设置指定天数可见步骤【教程】  漫蛙manwa2网页版书签同步链接_漫蛙manwa多设备登录入口  房产|直播|视频号怎么认证开通？|直播|需要什么资质？  QQ邮箱官方登录页_腾讯出品安全稳定的邮箱服务  Teambition网盘如何共享文件  Python高效统计字典嵌套列表值在目标列表中的出现次数  《米姆米姆哈》米姆获取及技能攻略  京东快递包裹信息查询入口 京东快递官方查询平台入口  抖音如何解除|直播|权限绑定_抖音关闭并解绑|直播|功能的方法  六级准考证号怎么查_四六级准考证查询入口官网  Flexbox布局中Stencil组件宽度不显示问题解析与:host尺寸控制  智云Q3和Q2有什么升级_智云Q3与Q2手持云台功能与性能对比分析  使用VS Code调试Python代码：从入门到精通  抖音如何进行蓝V认证 抖音企业号申请所需资料与流程  掌握产品代码正则表达式：避免常见陷阱与精确匹配  163邮箱网页版入口 163邮箱在线使用  Go反射进阶：访问内嵌结构体中的被遮蔽方法  汽水音乐官网网页版入口 汽水音乐官网网页版在线入口  百度输入法在AutoCAD中无法输入中文怎么办_百度输入法CAD输入异常解决方法  胃动力不足？试试这5个调理方法  不吃碳水化合物是健康减肥的好办法吗  sublime如何处理超大文件不卡顿 _sublime打开大日志文件技巧  win11关机几秒又自己开机 Win11关机自动重启问题修复  Microsoft Edge网页字体太淡看不清怎么办_Microsoft Edge字体渲染优化技巧 

 2025-11-24