python本地增删改大量数据用啥比较好？

lvcha · 发表于 2022-8-23 01:07

提示: 作者被禁止或删除内容自动屏蔽

chachi · 发表于 2022-8-23 02:01

关系型吧
如果你json文件冗余数据很多的话，sqlite也可以

帆影FX · 发表于 2022-8-23 02:24

你试试直接换成mongodb能不能跑得动

lvcha · 发表于 2022-8-23 02:51

提示: 作者被禁止或删除内容自动屏蔽

mimighost · 发表于 2022-8-23 07:12

简陋点儿sqlite吧

董卓 · 发表于 2022-8-23 07:52

一般思路不是稍微按主键段、时间段之类的拆一拆
继续用文件
修一修继续用10年啦

migros · 发表于 2022-8-23 08:48

500G大小的 json

要不然先搞个pcie4 ssd……？

—— 来自 samsung SM-N9860, Android 12上的 S1Next-鹅版 v2.5.2-play

绕指流光 · 发表于 2022-8-23 09:01

本帖最后由绕指流光于 2022-8-23 09:03 编辑

json 500G

好在现在转数据库类的轮子多的是，有些DBM甚至直接支持导入的
本地用就SQLITE，省去一堆乱七八糟环境配置，临时小改动甚至搞个dbeaver之类的操作一下就完事了

lvcha · 发表于 2022-8-23 09:46

提示: 作者被禁止或删除内容自动屏蔽

橋白 · 发表于 2022-8-23 11:04

lvcha 发表于 2022-8-23 09:46
哈，其实不是json
python里是个dict，不过挺复杂的那种。每个key下能挂十来层子dict
所以当时第一时间想 ...

不知道为啥你这让我想起了tfrecord

论坛助手,iPhone

kinta · 发表于 2022-8-23 11:38

sqlite

—— 来自 samsung SM-G9910, Android 12上的 S1Next-鹅版 v2.5.4

karloku · 发表于 2022-8-24 00:50

本帖最后由 karloku 于 2022-8-24 00:54 编辑

https://pypi.org/project/sqlitedict/
如果你key多的话可以简单点第一层key做文件名分文件

不然的话用mongo吧. 单个500g文件的读写怎么都是麻烦

sqlite单个在10g左右都挺好的

		自动登录	找回密码
密码			立即注册

lvcha lvcha 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2011-6-22 头像被屏蔽	发表于 2022-8-23 01:07 \| 显示全部楼层 \|阅读模式提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

lvcha lvcha 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2011-6-22 头像被屏蔽	楼主\| 发表于 2022-8-23 02:51 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

lvcha lvcha 当前离线禁止发言精华 \| 战斗力鹅 \| 回帖 0 注册时间 2011-6-22 头像被屏蔽	楼主\| 发表于 2022-8-23 09:46 \| 显示全部楼层提示: 作者被禁止或删除内容自动屏蔽

	回复使用道具举报

[软件] python本地增删改大量数据用啥比较好？