文档章节

pyqt sqlite3 icu fts3 fts4 enabled 。全文搜索 功能

kjpioo
 kjpioo
发布于 2013/02/09 20:56
字数 1611
阅读 1255
收藏 0

目标:windows下让pyqt测试程序支持sqlite3 icu fts3/4的全文搜索功能。

  1. 环境:

windows XP

pyqt 安装文件 PyQt-Py2.7-x86-gpl-4.9.6-1.exe

pyqt 源码包 PyQt-win-gpl-4.9.4.zip

python 版本2.7

qt是官方下载的 4.8.4 EXE 安装包

  1. 难点:

一般自己的测试程序提示“no such module: fts4”错误,可以按照 网上《Qt SQLite / SQLCipher driver plugin with ICU 》 一文的如下说明就能得到支持icu fts3/4的qt sqlite3 plugins:

In order to make ICU work with the default SQLite driver plugin, you have to modify the .pro file, add the following lines

DEFINES += SQLITE_ENABLE_ICU
INCLUDEPATH += "Path/To/icu/include"
LIBS += -L"Path/To/icu/lib" -licuuc -licuin

and rebuild your SQLite driver plugin.
据此,我在$QT/4.8.4/src/3rdparty/sqlite.pri文件增加若干定义(以下为.diff 文件):
--- C:/Documents and Settings/Administrator/桌面/sqlite.pri	星期六 二月  9 20:48:49 2013
+++ D:/qt/4.8.4/src/3rdparty/sqlite.pri	星期六 二月  9 18:01:59 2013
@@ -1,6 +1,8 @@
 CONFIG(release, debug|release):DEFINES *= NDEBUG
-DEFINES += SQLITE_OMIT_LOAD_EXTENSION SQLITE_OMIT_COMPLETE
+DEFINES += SQLITE_ENABLE_ICU SQLITE_ENABLE_FTS3 SQLITE_ENABLE_FTS4 SQLITE_ENABLE_FTS3_PARENTHESIS SQLITE_ENABLE_RTREE
+INCLUDEPATH += "d:\tmp\qt\zyj\zyj\icu\icu\include"
+LIBS += -L"d:\tmp\qt\zyj\zyj\icu\icu\lib" -licuuc -licuin
 blackberry: DEFINES += SQLITE_ENABLE_FTS3 SQLITE_ENABLE_FTS3_PARENTHESIS SQLITE_ENABLE_RTREE
 wince*: DEFINES += HAVE_LOCALTIME_S=0
 INCLUDEPATH +=  $$PWD/sqlite
-SOURCES +=      $$PWD/sqlite/sqlite3.c
\ No newline at end of file
+SOURCES +=      $$PWD/sqlite/sqlite3.c
修改完成后,在qt 4.8.4 command prompt环境下,切换到 Qt\4.8.4\ 目录。执行
D:\Qt\4.8.4>configure -release -fast -qt-sql-sqlite
D:\Qt\4.8.4> cd src\sql
D:\Qt\4.8.4\src\sql>nmake
D:\Qt\4.8.4\src\sql>nmake install 
到此 Qt本身的配置、重新编辑都完成。注意这里不用
D:\Qt\4.8.4>configure -release -fast -plugin-sql-sqlite

的方式。因为经过测试发现-plugin-sql-sqlite得到的qsqlite4.dll和QtSql4.dll,软件配合pyqt运行python main.py时会提示错误

QSqlDatabase: QSQLITE driver not loaded. QSqlDatabase: available drivers: QMYSQL3 QMYSQL QODBC3 QODBC QPSQL7 QPSQL


这多是由于pyqt的plugins\sqldrivers\目录及qsqlite3.dll 放置错误。或者出现以下错误

QSqlDatabase: QSQLITE driver not loaded. QSqlDatabase: available drivers: QSQLITE QMYSQL3 QMYSQL QODBC3 QODBC QPSQL7 QPSQL


这样的错误,这是因为虽然configure已经增加了对Sqlite3的支持,但某时候如果你没有在PATH中指出icu的动态库(icudt50.dll icuin50.dll icuuc50.dll)路径,则sqlite3运行时依赖icu所以sqlite3不能正常启动,就报以上错误。 对于pyqt我们可以将这3个动态库直接置于c:\python27\DLLS\ 目录下。

总之,configure时用
D:\Qt\4.8.4>configure -release -fast -plugin-sql-sqlite
更容易出
问题,在pyqt的情景下解决很麻烦,但是不值得去浪费时间折腾。所以采用-qt-sql-sqlite这种configure参数,就没有那么麻烦了经过以上对Qt4.8.4的src\sql\ 下的qt与sqlite3的重新生成,我们得到了支持fts4的qtsql4.dll。
  1. 对pyqt的修改

接下来安装pyqt。不需要通过官方提供的pyqt的exe 文件安装,因为这些预编译好的运行时库并不支持FTS4功能,所以从官方下载pyqt4源码文件(比如“ http://superb-dca2.dl.sourceforge.net/project/pyqt/PyQt4/PyQt-4.9.4/PyQt-win-gpl-4.9.4.zip ”,注意pyqt 4.8.4源码网上找不到了)。按照《PyQt在Windows XP上的编译》 http://my.oschina.net/kjpioo/blog/133397 的方法进行编译安装。以上源码安装默认将目的文件安装到 c:\Python27\Lib\site-packages\PyQt4\。该目录下有 QtGuid4.dll QtSql4.dll等众多运行时库。由于pyqt源码安装时从Qt 4.8.4 目录中动态读取配置并据此生成sip代码文件,最终生成众多.pyd文件,这些都是根据qt 4.8.4的configure配置生成的,也就是我们得到的QtSql.pyd文件就是支持sqlite3 fts4功能的!(如果不从pyqt4 源码安装,而用官方提供的pyqt4的exe 文件安装,这时pyqt4\安装目录下的默认文件QtSql.pyd 被用来操作sqlite3的fts4表时会提示no such module: fts4 错误)

经过以上对pyQt 4.9.4的重新生成,我们得到了支持fts4的qtsql.pyd 动态库。须知 qtsql4.dll和 qtsql.pyd 就是本文的两个最关键!

最后,在我们的pyqt应用程序中可以编写sqlite3 icu ft3/4操作的pyqt代码,进行测试。

  • 总结验证:

sqlite3分词功能运行时对icu的dll依赖的验证:可以看出

icuuc50.dll  icudt50.dll icuin50.dll 这三个文件是ICU 运行时必须的 
D:\tmp\tmp\ListDlls>Listdlls.exe -v  sqlite3.exe

ListDLLs v3.1 - List loaded DLLs
Copyright (C) 1997-2011 Mark Russinovich
Sysinternals - www.sysinternals.com

------------------------------------------------------------------------------
sqlite3.exe pid: 2916
Command line: "D:\tmp\tmp\sqlite3.exe"

Base        Size      Path
0x00400000  0x150000  sqlite3.exe
        Verified:       Invalid Signature
        Publisher:      SQLite Development Team
        Description:    SQLite is a software library that implements a self-cont
ained, serverless, zero-configuration, transactional SQL database engine.
        Product:        SQLite
        Version:        3.7.15.1
        File version:   3.7.15.1
D:\tmp\tmp\ListDlls>Listdlls.exe sqlite3.exe

ListDLLs v3.1 - List loaded DLLs
Copyright (C) 1997-2011 Mark Russinovich
Sysinternals - www.sysinternals.com

---------------------------------------------
sqlite3.exe pid: 2916
Command line: "D:\tmp\tmp\sqlite3.exe"

Base        Size      Path
0x00400000  0x150000  sqlite3.exe
0x7c920000  0x93000   ntdll.dll
0x7c800000  0x11e000  kernel32.dll
0x4a800000  0x109000  icuuc50.dll
0x77da0000  0xa9000   ADVAPI32.dll
0x77e50000  0x93000   RPCRT4.dll
0x77fc0000  0x11000   Secur32.dll
0x4ad00000  0x13d4000  icudt50.dll
0x78aa0000  0xbf000   MSVCR100.dll
0x00550000  0x14d000  icuin50.dll
0x78050000  0x69000   MSVCP100.dll

以下是c:\python27\lib\site-packages\pyqt4\examples\sql\ 目录下的tablemodel.pyw 运行时的依赖关系:可以看到由于需要QtSql模块,这时pyqt 默认加载的QtSql动态库是QtSql4.dll QtSql.pyd 和c:\python27\lib\site-packages\pyqt4\plugins\sqldrivers\qsqlite4.dll。而我们编译qsqlite4.dll时已经指定要ICU支持,所以qsqlite4.dll又依赖于ICU,所以下图中

icuuc50.dll icudt50.dll icuin50.dll 这三个文件

也被加载。由于tablemodel.pyw 程序使用基于内存的sqlite数据库,且不需要fts4支持,所以运行时基于pyqt4默认安装的sqlite4.dll不会报错。

那么如果这时候我们自己的(需要fts4支持)软件打开时提示

last sql error:
no such module: fts4 
Unable to execute statement

我们就可以认为是  c:\python27\lib\site-packages\ pyqt4\plugins\sqldrivers\qsqlite4.dll 出了问题。解决方法参考上文 “对pyqt的修改” 部分。

注意:ubuntu12.04下经过测试,ubuntu默认安装的sqlite3已经支持FTS功能。

  1. 参考文档:

http://qt.onyou.ch/2011/05/29/enabling-fts-module-in-sqlite-for-qt/

http://blog.sobex-software.de/?p=229

http://blog.chinaunix.net/uid-13750160-id-3488550.html

PyQt在Windows XP上的编译 http://blog.csdn.net/stoneyang0915/article/details/8078487

Build FTS index end succeed: 为知笔记使用手册 “为知笔记”linux&Mac版,其全文搜素功能就是基于sqlite的FTS。在tag设计方面可以参考wiz的sql文件:

$ ls /usr/share/wiznote/sql/
wiz_deleted_guid.sql         wiz_document_param.sql  wiz_document_tag.sql  wiz_object_ex.sql  wiz_tag_group.sql
wiz_document_attachment.sql  wiz_document.sql        wiz_meta.sql          wiz_style.sql      wiz_tag.sql

本人文章除注明转载外,均为本人原创或编译
欢迎任何形式的转载,但请务必注明出处,尊重他人劳动共创开源社区
转载请注明:文章转载自:开源中国社区 [http://www.oschina.net]
本文标题:pyqt sqlite3 icu  fts3 fts4 enabled 。全文搜索 功能
本文地址:http://my.oschina.net/kjpioo/blog/108458

© 著作权归作者所有

kjpioo
粉丝 13
博文 93
码字总数 17780
作品 0
杭州
私信 提问
PyQt 5.2.1 发布,Qt 库的 Python 版本

PyQt 5.2.1 发布,此版本是个小的功能发布版本,完全支持 Qt v5.2.1。 PyQt是Qt库的Python版本。PyQt3支持Qt1到Qt3。 PyQt4支持Qt4。它的首次发布也是在1998年,但是当时它叫 PyKDE,因为开始...

oschina
2014/03/17
4.5K
7
PyQt 4.9.1 发布,Qt库的Python版本

PyQt 4.9.1 发布,该版本修复了 4.9 的一些小 bug ,没有引入新的功能。 PyQt是Qt库的Python版本。PyQt3支持Qt1到Qt3。 PyQt4支持Qt4。它的首次发布也是在1998年,但是当时它叫 PyKDE,因为开...

红薯
2012/02/13
1K
4
PyQt 5.2 发布,Qt 库的 Python 版本

PyQt 5.2 发布,此版本完全支持 Qt v5.2.0 ;包括了新的 QtBluetooth,QtPositioning,QtMacExtras,QtWinExtras 和 Qt11Extras 模板。 PyQt是Qt库的Python版本。PyQt3支持Qt1到Qt3。 PyQt4支...

oschina
2014/01/09
8.9K
11
PyQt 4.10 发布,支持 QT 5.0

PyQt 4.10 发布了,该版本最主要的目的是为了支持 Qt 5.0. PyQt是Qt库的Python版本。PyQt3支持Qt1到Qt3。 PyQt4支持Qt4。它的首次发布也是在1998年,但是当时它叫 PyKDE,因为开始的时候SIP...

oschina
2013/03/04
2.5K
5
PyQt 4.9.5 发布,Qt 库的 Python 版本

PyQt 4.9.5 支持 Qt 4.8.3 和 5.0.0 Beta1. PyQt是Qt库的Python版本。PyQt3支持Qt1到Qt3。 PyQt4支持Qt4。它的首次发布也是在1998年,但是当时它叫 PyKDE,因为开始的时候SIP和PyQt没有分开。...

oschina
2012/10/01
1K
3

没有更多内容

加载失败,请刷新页面

加载更多

DLA SQL技巧:行、列转换和JSON数据列展开

1. 简介 在数据库SQL处理中,常常有行转列(Pivot)和列转行(Unpivot)的数据处理需求。本文以示例说明在Data Lake Analytics中,如何使用SQL的一些技巧,达到行转列(Pivot)和列转行(Unp...

阿里云官方博客
13分钟前
0
0
分布式数据库选型——数据水平拆分方案

概述 水平拆分的概念随着分布式数据库的推广已为大部分人熟知。分库分表、异构索引、小表广播、这些功能几乎是产品功能需求标配。然而有些客户使用分布式数据库后的体验不尽如意。 本文尝试从...

阿里云云栖社区
14分钟前
0
0
Swagger2常用注解说明

这里只讲述@Api、@ApiOperation、@ApiImplicitParams、@ApiImplicitParam、@ApiParam、@ApiModel、@ApiModelProperty、ApiResponses、@ApiResponse这几个常用的。 一、@Api 用在请求的类上,...

Ryan-瑞恩
14分钟前
0
0
DM 源码阅读系列文章(八)Online Schema Change 同步支持

作者:lan 本文为 DM 源码阅读系列文章的第八篇,上篇文章 对 DM 中的定制化数据同步功能进行详细的讲解,包括库表路由(Table routing)、黑白名单(Black & white table lists)、列值转化...

TiDB
23分钟前
1
0
使用nginx负载均衡登录后不能跳转的问题

upstream test-server { #ip_hash; server 192.168.0.1:8080 weight=10; server 192.168.0.1:8081 weight=10;} 在测试环境中模拟生产使用nginx做应用负载均衡,登录页面可以...

Jack088
32分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部