博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
python对象序列化或持久化的方法
阅读量:5854 次
发布时间:2019-06-19

本文共 1898 字,大约阅读时间需要 6 分钟。

http://blog.csdn.net/chen_lovelotus/article/details/7233293

一、对象持久化方法

目前为止,据我所知,在python中对象持久化有以下几种方法:

1. 使用(dbhash/bsddb, dbm, gdbm, dumbdbm 等)以及它们的"管理器"( anydbm )。只提供了 Python 字 

符串的永久性储存. 提供一个类似字典和文件的对象,可以完成字符串的永久性存储。

2. 使用marshal和pickle来序列化python对象,并具备存储到介质上的功能。两者的区别在于:marshal只能处理简单的Python对象,包括数字、序列、映射、以及代码对象;而pickle还可以处理递归对象,被不同地方多次引用的对象,以及用户定义的类和实例。其中,pickle有一个C语言实现的版本——cPickle,具有更高的效率,建议使用cPickle。

3. 虽然pickle提供非常强大的功能了,已经可以满足我们大部分的需求了,但是,人类的需求是无止境的,光序列化不行啊,只用 pickle 不能解决命名和查找 pickle 文件这样的问题,要是可以对序列化的对象提供管理功能,支持并发访问就好了。因此,人们发明了shelve模块,它是前两者的综合。shelve模块使用anydbm模块寻找合适的DBM模块,然后使用cPickle来完成对象存储转换过程。shelve模块允许对数据库文件进行并发的读访问,但不允许共享读/写访问。

4. 还有一种方案,是在IBM的网站上看到的。那就是ZODB了。ZODB比简单的 pickle 文件更健壮以及更具有可伸缩性。ZODB是一个针对Python的Z对象数据库,是一个健壮的、多用户的和面向对象的数据库系统,它能够存储和管理任意复杂的 Python 对象,并支持事务操作和并发控制。其实,ZODB也依靠Python 的本机序列化能力,而且要有效地使用 ZODB,必须充分了解 pickle。

5. 最后一只知道的解决持久性问题的方法是 Prevayler,PyPerSyst 将整个对象系统保存在内存中,并通过不时地将系统快照 pickle 到磁盘以及维护一个命令日志(通过此日志可以重新应用最新的快照)来提供灾难恢复。所以,尽管使用 PyPerSyst 的应用程序受到可用内存的限制,但好处是本机对象系统可以完全装入到内存中,因而速度极快,而且实现起来要比如 ZODB 这样的数据库简单,ZODB 允许对象的数目比同时在能内存中所保持的对象要多。

背景知识:它最初是用 Java 实现的。后来,一群 Python 程序员将 Prevayler 移植到了 Python 上,另起名为 PyPerSyst,由 SourceForge 托管。Prevayler/PyPerSyst 概念也是建立在 Java 和 Python 语言的本机序列化能力之上。

6. 我今天又发现了一个模块Durus,非常好的模块,支持多线程并发操作,支持回滚操作。不过安装的时候没装上,好像是缺少vc里面文件似的,不管了。

二、我该如何选择

上面5种方案是我在综合相关资料汇总的,那么现在轮到如何选择。我选择的一个原则:“懒”,怎么讲,就是尽量在完成任务的情况下,降低复杂度和将来的兼容性。第五种方案对我不太适用,全部load到内存基本不可能,所以我先暂时选第四种方案吧,方便读取,使用对象数据库对于我的项目应该是有好处的。

参考性的意见,我认为得看自己定了,如果想简单,用pickle就能解决问题。我也想用pickle的,可是一大堆对象,还需要检索方便,当然选择第四种方案。其实第三种方案也适合我的,如果时间充裕的话,我还想第四种方案和第三种做一个实验,比较一下,再写一篇文章给大家参考。

参考资料:

1. Python 持久性管理 http://www.ibm.com/developerworks/cn/linux/l-pypers/

2. shelve — Python object persistence http://docs.python.org/library/shelve.html

3. Core Python Programming, Second Edition   By Wesley J. Chun

4. ZODB 入门 http://www.ibm.com/developerworks/cn/aix/library/au-zodb/?S_TACT=105AGX52&S_CMP=tec-csdn

你可能感兴趣的文章
ELK+logback+kafka+nginx 搭建分布式日志分析平台
查看>>
踽踽独行,你好像这世界上最孤独的灵魂
查看>>
Android 进阶自定义View(5)图表统计PieChartView圆饼图的实现
查看>>
数据结构(Java)-持续更新补充
查看>>
基于 Nginx 的中间件架构(CentOS 7环境)
查看>>
Scrapy框架-图片下载功能
查看>>
程序员的4条忠告,你做到了几条
查看>>
SpringBoot 2.0.0新版和SpringBoot1.5.2版本中Tomcat配置的差别(坑)
查看>>
分布式文件系统 go-fastdfs v1.2.7 发布,增加 Nginx 配置模版
查看>>
VRCORE开发者大赛圆满落幕,中国虚拟现实内容大集结
查看>>
在线图表编辑工具 draw.io 10.3.1 版本发布
查看>>
Android - popupwindow
查看>>
阿里Druid连接池的坑。。
查看>>
C++程序设计基础(2)变量
查看>>
烽火18台之五--如何拯救你我的网站
查看>>
不可思议的纯 CSS 导航栏下划线跟随效果
查看>>
Ubuntu-修改图片分辨率
查看>>
深入浅出话命令
查看>>
java类库web3j开发以太坊智能合约快速入门
查看>>
如何在Vue项目中使用vw实现移动端适配
查看>>