Python写入MySQL数据库的方式有哪些

---

场景一：数据不需要频繁的写入mysql

使用 n*icat 工具的导入向导功能。这个软件可以支持多种文件格式，自动根据文件字段建立表格并方便地插入数据，速度也非常快。

场景二：数据是增量的，需要自动化并频繁写入mysql

测试数据：csv 格式 ，大约 1200万行

import pandas as pd
data = pd.read_csv('./tianchi_mobile_recommend_train_user.csv')
data.shape

打印结果

方式一

python + pymysql 库

安装 pymysql 命令

动态WEB网站中的PHP和MySQL：直观的QuickPro指南第2版

动态WEB网站中的PHP和MySQL详细反映实际程序的需求，仔细地探讨外部数据的验证(例如信用卡卡号的格式)、用户登录以及如何使用模板建立网页的标准外观。动态WEB网站中的PHP和MySQL的内容不仅仅是这些。书中还提到如何串联J*aScript与PHP让用户操作时更快、更方便。还有正确处理用户输入错误的方法，让网站看起来更专业。另外还引入大量来自PEAR*函数库的强大功能，对常用的、强大的包

508 查看详情

pip install pymysql

代码实现：

import pymysql

# 数据库连接信息
conn = pymysql.connect(
       host='127.0.0.1',
       user='root',
       passwd='wangyuqing',
       db='test01', 
       port = 3306,
       charset="utf8")

# 分块处理
big_size = 100000
# 分块遍历写入到 mysql    
with pd.read_csv('./tianchi_mobile_recommend_train_user.csv',chunksize=big_size) as reader:

    for df in reader:

        datas = []
        print('处理：',len(df))
#         print(df)
        for i ,j in df.iterrows():
            data = (j['user_id'],j['item_id'],j['beh*ior_type'],
                    j['item_category'],j['time'])
            datas.append(data)
        _values = ",".join(['%s', ] * 5)
        sql = """insert into users(user_id,item_id,beh*ior_type
        ,item_category,time) values(%s)""" % _values
        cursor = conn.cursor()
        cursor.executemany(sql,datas)
        conn.commit()
 # 关闭服务      
conn.close()
cursor.close()
print('存入成功！')

方式二

pandas + sqlalchemy：pandas需要引入sqlalchemy来支持sql，在sqlalchemy的支持下，它可以实现所有常见数据库类型的查询、更新等操作。

代码实现：

from sqlalchemy import create_engine
engine = create_engine('mysql+pymysql://root:wangyuqing@localhost:3306/test01')
data = pd.read_csv('./tianchi_mobile_recommend_train_user.csv')
data.to_sql('user02',engine,chunksize=100000,index=None)
print('存入成功！')

以上就是Python写入MySQL数据库的方式有哪些的详细内容，更多请关注其它相关文章！

# 仅是  # 咸宁网站建设800元  # 网站优化能做什么工作呢  # 百度推广会送网站流量吗  # 餐饮店营销推广策略研究  # 河南网站建设及推广  # 黄埔seo网络营销推广  # 民权互联网推广营销公司  # 河北网站制作和推广  # 网站的优化恰当易速达  # 短视频seo效果对比  # Python  # 解决问题  # 中文网  # 相关文章  # 遍历  # 不需要  # 连接数  # 管理系统  # 有哪些  # 如何在  # MySQL 

相关栏目： 【 Google疑问12 】 【 Facebook疑问10 】 【 优化推广96088 】 【 技术知识133117 】 【 IDC资讯59369 】 【 网络运营7196 】 【 IT资讯61894 】

相关推荐： B站怎么快速升级 B站用户等级提升攻略【详解】  Dash应用中自定义HTML页面标题与网站图标（F*icon）的实用指南  汽车之家网页版免费登录_汽车之家官网首页直接进入  铁路12306座位怎么选_12306官方选座操作方法  VBA Outlook邮件自动化：高效集成Excel数据与列标题的策略  使用 J*aScript 随机化 CSS Grid 布局中的元素顺序  抖音评论无法发送如何修复 抖音评论功能操作指南  《星露谷物语》克林特好感度事件介绍  C++二维数组动态分配方法_C++指针与数组内存布局  wps文字怎么设置文字环绕图片的方式_wps文字如何设置文字环绕图片方式  抖音号显示企业机构号是什么意思？企业机构号申请条件是什么？  虫虫漫画绿色安全入口_虫虫漫画绿色安全入口安全看漫画  猫眼电影app怎么查询电影院的营业时间_猫眼电影影院营业时间查询教程  iPhone 13 Pro Max如何设置桌面小组件_iPhone 13 Pro Max小组件添加指南  《爱南宁》认证电动车方法  解决Pandas DataFrame高度碎片化警告：高效创建多列的策略  安居客移动经纪人怎么设置自动回复？-安居客移动经纪人设置自动回复的方法  豆包AI怎样为教育场景定制答疑逻辑_为教育场景定制豆包AI答疑逻辑方案【方案】  AngularJS动态内容中DOM元素查找的时序问题及$timeout解决方案  Eclipse开发J*a快速入门  ao3入口镜像地址 ao3镜像入口可靠跳转  C++怎么解决数值计算中的精度问题_C++浮点数误差与数值稳定性分析  嘴唇干裂起皮怎么办 唇部护理与预防干裂的方法【详解】  《下一站江湖2》心法融合技巧  PHP使用DOMDocument与XPath精准追加XML元素教程  mysql怎么查询数据_mysql基础查询语句使用教程  byrutor直接访问入口 byrutor官方游戏库  微信注销后银行卡解绑了吗_微信注销后银行卡解绑状态  PHP魔术方法__set与__isset：设计考量、性能权衡与静态分析的视角  C++ optional用法详解_C++17处理可能为空的返回值  手机坏了微信聊天记录怎么导出来 新手机恢复聊天记录技巧  快手缓存清理方法  Golang中的rune与byte类型区别是什么_Golang字符与字节处理详解  Win10怎么设置快速启动 Win10开启快速启动设置方法  斯宾塞称XGP云游戏“蒸蒸日上”：正在构建一个游戏从未如此唾手可得的未来  创建快捷方式启动系统保护  uc浏览器官网网页版使用 uc浏览器官网免费在线首页  Lar*el 关联查询：同时筛选父表与子表数据的高效策略  TikTok网页版实时观看入口 TikTok网页版短视频在线浏览  《宝可梦大集结》S4冠军之路开始时间介绍  4399造梦西游3无敌版_4399游戏入口  《大润发优鲜》充值方法介绍  优化 WooCommerce 产品价格显示与自定义短代码集成  win11资源管理器标签页怎么用 Win11文件管理器多标签高效操作【新功能】  search中maxlength属性用法解析  悟空浏览器网页版在线工具 悟空浏览器网页版在线平台入口  支付宝登录刷脸不是本人如何解决  《植物大战僵尸3》火龙草作用介绍  荣耀Magic6 Pro拍照成像偏暗_荣耀Magic6 Pro夜景优化  拷贝漫画2025网页版入口 拷贝漫画官网免费看全集 

 2023-06-03