
本教程旨在解决如何在Pandas DataFrame中,为每个交易查找并记录同一客户之前发生的、但类型不同的最后一笔交易金额。文章将详细介绍一种高效的迭代分组方法,避免常见性能陷阱,并通过具体代码示例和步骤解析,帮助读者掌握在复杂时间序列数据中进行交叉类别历史数据查找的技术。
在数据分析中,我们经常需要根据历史数据来丰富当前记录。一个常见的需求是,为每一笔交易找出同一客户之前发生的某类交易的金额。然而,当需求进一步复杂化,例如需要查找的是“不同类别”的上一笔交易时,传统的shift()方法就不再适用,而直接使用apply()配合复杂筛选又可能导致性能瓶颈甚至程序崩溃。
本文将以一个具体的交易数据集为例,演示如何高效地在Pandas DataFrame中实现这一复杂的数据转换。我们的目标是为每笔交易添加一个新列PREV_AMOUNT,其中包含同一客户在当前交易日期之前,发生的“不同类型”的最后一笔交易的金额。
假设我们有一个包含客户交易记录的DataFrame,其结构如下:
原始数据示例:
KEY_ID TYPE AMOUNT DATE 0 1 Motor 5000 2025-01-01 1 1 Tool 3000 2025-02-01 2 1 Tool 7000 2025-03-01 3 2 Tool 2000 2025-01-15 4 2 Motor 6000 2025-02-15 5 2 Tool 4000 2025-03-15
期望的输出结果:
KEY_ID TYPE AMOUNT DATE PREV_AMOUNT 0 1 Motor 5000 2025-01-01 NaN 1 1 Tool 3000 2025-02-01 5000.0 2 1 Tool 7000 2025-03-01 5000.0 3 2 Tool 2000 2025-01-15 NaN 4 2 Motor 6000 2025-02-15 2000.0 5 2 Tool 4000 2025-03-15 6000.0
在尝试解决这类问题时,开发者常会遇到以下两种低效或不适用的方法:
百度文心百中
百度大模型语义搜索体验中心
251
查看详情
使用 df.apply() 进行行迭代和子集筛选: 这种方法虽然直观,但在DataFrame的每一行内部进行多次数据筛选和子集创建,会导致极高的计算开销。当DataFrame规模较大时,很容易造成内存溢出或程序崩溃,因为它本质上是在Python层面的循环,而非Pandas优化的向量化操作。
import pandas as pd
import numpy as np
# 假设 df 是您的DataFrame
def find_previous_request_inefficient(row, df_original):
# 在每次函数调用中对整个df_original进行筛选,效率极低
previous_requests = df_original[
(df_original['KEY_ID'] == row['KEY_ID']) &
(df_original['TYPE'] != row['TYPE']) &
(df_original['DATE'] < row['DATE'])
]
if not previous_requests.empty:
return previous_requests.iloc[-1]['AMOUNT']
return np.nan
# df['PREV_AMOUNT'] = df.apply(lambda row: find_previous_request_inefficient(row, df), axis=1)
# 上述代码在大型数据集上可能导致内核崩溃使用 groupby().shift():shift()函数可以方便地获取同一组内前一个或后一个值。然而,df.groupby(['KEY_ID', 'TYPE'])['AMOUNT'].shift()只会返回同一客户、同一交易类型的前一笔交易金额,无法满足“不同类型”的要求。
# df['prev_amount'] = df.groupby(['KEY_ID', 'TYPE'])['AMOUNT'].shift() # 这种方法无法满足“不同类型”的查找需求
为了解决上述问题,我们需要一种结合分组处理和状态管理的方法。核心思想是:
下面是实现这一逻辑的详细步骤和代码:
首先,我们创建示例DataFrame并进行必要的数据预处理,包括将日期列转换为datetime类型,并按客户ID和日期进行排序。
import pandas as pd
import numpy as np
# 创建示例DataFrame
data = {
'KEY_ID': [1, 1, 1, 2, 2, 2],
'TYPE': ['Motor', 'Tool', 'Tool', 'Tool', 'Motor', 'Tool'],
'AMOUNT': [5000, 3000, 7000, 2000, 6000, 4000],
'DATE': ['2025-01-01', '2025-02-01', '2025-03-01', '2025-01-15', '2025-02-15', '2025-03-15']
}
df = pd.DataFrame(data)
# 确保日期列为datetime类型,并按客户ID和日期排序
df['DATE'] = pd.to_datetime(df['DATE'])
df = df.sort_values(by=['KEY_ID', 'DATE']).reset_index(drop=True) # reset_index是为了后续loc操作的索引一致性
print("初始DataFrame:")
print(df)输出:
初始DataFrame: KEY_ID TYPE AMOUNT DATE 0 1 Motor 5000 2025-01-01 1 1 Tool 3000 2025-02-01 2 1 Tool 7000 2025-03-01 3 2 Tool 2000 2025-01-15 4 2 Motor 6000 2025-02-15 5 2 Tool 4000 2025-03-15
我们将为DataFrame添加一个新列PREV_AMOUNT,并初始化为NaN。然后,按KEY_ID分组,并遍历每个客户组。在每个组内部,我们维护记录上一个不同类型交易金额的状态变量。
# 初始化PREV_AMOUNT列
df['PREV_AMOUNT'] = np.nan
# 按KEY_ID分组
grouped = df.groupby('KEY_ID')
# 遍历每个客户组
for key_id, group in grouped:
# 为每个客户初始化记录不同类型交易金额的变量
# 这里假设只有'Motor'和'Tool'两种类型。如果类型更多,可以使用字典来存储。
last_motor_amount = np.nan
last_tool_amount = np.nan
# 遍历当前客户组内的每一行(已按日期排序)
for ind, row in group.iterrows():
current_type = row['TYPE']
current_amount = row['AMOUNT']
if current_type == 'Motor':
# 如果当前交易是Motor,则PREV_AMOUNT是上一个Tool交易的金额
df.loc[ind, 'PREV_AMOUNT'] = last_tool_amount
# 更新上一个Motor交易金额,以便后续Tool交易使用
last_motor_amount = current_amount
elif current_type == 'Tool':
# 如果当前交易是Tool,则PREV_AMOUNT是上一个Motor交易的金额
df.loc[ind, 'PREV_AMOUNT'] = last_motor_以上就是在Pandas DataFrame中计算每个交易的交叉类别前一笔交易金额的详细内容,更多请关注其它相关文章!
# 并按
# 微信h5推广营销
# 池州快照seo优化
# 自然杂志关键词排名查询
# 网站开发建设必看
# 密云区网站建设哪个好
# 营销推广文案短视频
# 盐山环保网站建设
# 制作seo计划步骤
# 宣传折页素材网站推广
# 文昌推广网站搭建怎么做
# 的是
# python
# 几种
# 百中
# 浮点
# 这一
# 迭代
# 数据结构
# 遍历
# 不同类型
# elif
# 性能瓶颈
# app
相关栏目:
【
Google疑问12 】
【
Facebook疑问10 】
【
优化推广96088 】
【
技术知识133117 】
【
IDC资讯59369 】
【
网络运营7196 】
【
IT资讯61894 】
相关推荐:
C++中std::thread和std::async的区别_C++并发编程与线程与异步任务比较
HTML Canvas文本样式定制指南:解决外部字体加载与应用难题
Dash应用中自定义HTML页面标题与网站图标(F*icon)的实用指南
126邮箱网页在线登录2025_126邮箱网页版入口官方地址
excel怎么制作考勤表 excel考勤模板与函数公式讲解
京东物流快递破损了怎么办_京东快递破损理赔流程
QQ邮箱官方登录页_腾讯出品安全稳定的邮箱服务
Flexbox布局中Stencil组件宽度不显示问题解析与:host尺寸控制
J*aScript对象中深度嵌套URL键的查找与更新策略
ToDesk远程摄像头功能使用方法_ToDesk远程视频画面查看设置教程
yandex网页版直接登录 yandex官方入口平台访问方法
盲鳗善于分泌黏液猜猜主要用来做什么
PHP实现等比数列:构建数组元素基于前一个值递增的方法
Win10如何关闭操作中心通知 Win10免打扰设置全攻略【清爽】
mysql镜像配置如何恢复数据_mysql镜像配置数据恢复详细流程
TikTok收藏夹无法删除视频如何解决 TikTok收藏管理优化方法
win11如何诊断DirectX问题 Win11运行dxdiag工具排查显卡故障【排错】
风车动漫官网首页入口登录 风车动漫在线观看正版地址
鲨鱼剧场app金币获取方法
mysql中如何分析索引使用情况_mysql索引使用分析方法
《单词速记宝》设置学习计划方法
优化Flask模板中SQLAlchemy查询迭代标签:处理字符串空格问题
解决jQuery多计算器输入字段冲突的教程
宝妈做视频号该写什么标签话题?宝妈关注的话题有哪些?
海棠阅读网页版_进入海棠网页版在线阅读中心
如何在CSS中清除浮动解决背景颜色不包裹内容问题_clear after技巧
mysql数据库索引类型有哪些_mysql索引类型解析
如何在CSS中设置背景图像:一个全面指南
以下哪一个是适应长期护理制度发展而设立的新职业
OPPO手机参数配置如何开启护眼模式_OPPO手机参数配置护眼模式开启指南
如何在解析前预检查XML文件的完整性? 比如检查文件大小或特定结束标签
TikTok网页版入口快速访问 TikTok官网账号登录方法
J*a中的值传递到底指什么_值传递模型在参数传递中的真正含义说明
快递查询,一键速查
C++ static关键字作用_C++静态成员变量与静态函数
NumPy 高性能技巧:基于多列条件查找最近邻行索引的向量化实现
猫眼电影app怎么查询电影院的营业时间_猫眼电影影院营业时间查询教程
Linux如何自动分析系统异常日志_Linux日志智能检测
cad视图选项卡不见了怎么办_cad视图标签恢复显示方法
微信如何设置字体大小_微信字体设置的阅读舒适
管理打开的编辑器:固定、分组和关闭技巧
Python对象引用与属性赋值:理解链表中的行为
从J*a应用程序中导出MySQL表数据的技术指南
漫蛙漫画官方版直通入口 2025漫蛙漫画免注册访问说明
抄漫画官网防走失地址_抄漫画最新漫画完整版阅读入口
风神瞳获取全攻略
C#中的Record类型有什么优势?C# 9新特性Record与Class的用法区别
《长生:天机降世》火塔小怪大全
C++ cast类型转换总结_C++ reinterpret_cast与const_cast的使用
精通VS Code多光标编辑以实现闪电般快速的修改
2025-11-30
运城市盐湖区信雨科技有限公司是一家深耕海外推广领域十年的专业服务商,作为谷歌推广与Facebook广告全球合作伙伴,聚焦外贸企业出海痛点,以数字化营销为核心,提供一站式海外营销解决方案。公司凭借十年行业沉淀与平台官方资源加持,打破传统外贸获客壁垒,助力企业高效开拓全球市场,成为中小企业出海的可靠合作伙伴。