论坛 › ＰＣ数码 › python本地增删改大量数据用啥比较好？

lvcha 发表于 2022-8-23 01:07

chachi 发表于 2022-8-23 02:01

关系型吧
如果你json文件冗余数据很多的话，sqlite也可以

帆影FX 发表于 2022-8-23 02:24

你试试直接换成mongodb能不能跑得动

lvcha 发表于 2022-8-23 02:51

mimighost 发表于 2022-8-23 07:12

简陋点儿sqlite吧

董卓 发表于 2022-8-23 07:52

一般思路不是稍微按主键段、时间段之类的拆一拆
继续用文件
修一修继续用10年啦

migros 发表于 2022-8-23 08:48

500G大小的 json

要不然先搞个pcie4 ssd……？

—— 来自 samsung SM-N9860, Android 12上的 S1Next-鹅版 v2.5.2-play

绕指流光 发表于 2022-8-23 09:01

本帖最后由 绕指流光 于 2022-8-23 09:03 编辑

json 500G
好在现在转数据库类的轮子多的是，有些DBM甚至直接支持导入的
本地用就SQLITE，省去一堆乱七八糟环境配置，临时小改动甚至搞个dbeaver之类的操作一下就完事了

lvcha 发表于 2022-8-23 09:46

橋白 发表于 2022-8-23 11:04

lvcha 发表于 2022-8-23 09:46
哈，其实不是json
python里是个dict，不过挺复杂的那种。每个key下能挂十来层子dict
所以当时第一时间想 ...

不知道为啥你这让我想起了tfrecord

论坛助手,iPhone

kinta 发表于 2022-8-23 11:38

sqlite

—— 来自 samsung SM-G9910, Android 12上的 S1Next-鹅版 v2.5.4

karloku 发表于 2022-8-24 00:50

本帖最后由 karloku 于 2022-8-24 00:54 编辑

https://pypi.org/project/sqlitedict/
如果你key多的话可以简单点第一层key做文件名分文件

不然的话用mongo吧. 单个500g文件的读写怎么都是麻烦

sqlite单个在10g左右都挺好的

查看完整版本: python本地增删改大量数据用啥比较好？