【赛迪网-it技术报道】oracle text使用标准的sql语言索引、查找、分析存储在oracle数据库、文件或者网络里的文本及文档。 oracle text能进行关于文档的语言分析,使用多种方法查找文档,包括关键字、上下文查询、逻辑操作、模式匹配、混合主题查询、html/xml段落查找等方法。oracle text在包含文本和结构化的关系属性的混合查询方面具有优越性。
现有文档表zycontent_table为上载文件的存储表,二进制文件以blob类型存储在blob_content列中,oracle text技术提供为blob列中的二进制文本文件建立索引的方法,细节如下:
一、准备工作
文档表的模式为zyfileup,文档表为zycontent_table。文档表定义为:
create table zycontent_table(
name varchar(128) unique not null,
mime_type varchar(128),
doc_size number,
dad_charset varchar(128),
last_updated date,
content_type varchar(128),
content long raw,
blob_content blob
);
|
二、为拥有文档表的模式建立文本索引授权
以system用户连接数据库,为zyfileup授权。
grant "ctxapp" to "zyfileup";
alter user "zyfileup" default role all;
grant execute on "ctxsys"."ctx_adm" to "zyfileup";
grant execute on "ctxsys"."ctx_catsearch" to "zyfileup";
grant execute on "ctxsys"."ctx_contains" to "zyfileup";
grant execute on "ctxsys"."ctx_ddl" to "zyfileup";
grant execute on "ctxsys"."ctx_doc" to "zyfileup";
grant execute on "ctxsys"."ctx_query" to "zyfileup";
grant execute on "ctxsys"."ctx_ulexer" to "zyfileup";
grant execute on "ctxsys"."ctx_xpcontains" to "zyfileup";
|
三、建立文档表在blob_content列上的索引
以zyfileup用户连接数据库,建立文本索引参考项
begin
ctx_ddl.create_preference('mylex','basic_lexer');
ctx_ddl.set_attribute('mylex','printjoins','_-');
ctx_ddl.create_preference('mywordlist', 'basic_wordlist');
ctx_ddl.set_attribute('mywordlist','prefix_index','true');
ctx_ddl.set_attribute('mywordlist','prefix_min_length',1);
ctx_ddl.set_attribute('mywordlist','prefix_max_length', 5);
ctx_ddl.set_attribute('mywordlist','substring_index', 'yes');
end;
begin
ctx_ddl.create_preference('cnlex','chinese_lexer');
end;
建立索引
drop index i_zycontent_table force;
create index i_zycontent_table
on zycontent_table(blob_content)
indextype is ctxsys.context
parameters ('datastore ctxsys.direct_datastore
filter ctxsys.inso_filter
lexer zyfileup.cnlex
wordlist zyfileup.mywordlist');
|
四、索引同步和删除
同步索引的两种方法:
alter index i_zycontent_table rebuild
parameters('resume memory 20m'); 和
exec ctx_ddl.sync_index
('i_zycontent_table', '20m');
删除索引的方法:
drop index i_zycontent_table force;
|
五、索引功能介绍
1.索引的文件类型
oracle text可以过滤以及从不同格式的文档里提取内容,它支持150多种文档格式,最常见的ms office文档、pdf文档等都可由oracle text来检索。
2.过滤器介绍
对于纯文本文件格式,如txt、html、xml等文件,使用空过滤器,即null_filter,对于二进制文件,使用inso_filter过滤器,如果文档表的blob列中含有二进制文件和纯文本文件,也要用inso_filter过滤器,但最好是把纯文本和二进制文件分开存储和索引。oracle text还提供包来从二进制文件中提取文本到纯文本文件中。
3.词典
可以定制不同语言的词典,该词典含有同意词和词的级别关系。oracle text可以提供多语言的最优特性以支持跨越西方语言、日语、朝鲜语、传统和简体中文所写的文档查找。
六、文本查询语句格式
select name from zycontent_table
where contains(blob_content,'教育信息化',1)>0
order by name;
|
contains函数提供强大的查询功能,"与"、"或"关系,相近(near ;)和排除(not ~)等功能,更方便的是它还可以根据某一关键词查询不同语种的文本,当然,这要事先设定词典。
七、实际应用中的问题
在我的实际应用中,最常用的是使用oracle text对word、excel、powerpoint、html、pdf等格式的中文文档进行索引,但我发现,无论使用inso_filter还是null_filter,无论使用basic_lexer还是chinese_lexer,都不能检索rtf格式的文本文档,我在win2000,xp下试验,都没成功,不知什么原因。总体来说,oracle text的文本检索功能还是相当出色的,它甚至不需要文本文件存储在数据库里,即使存储在操作系统的文件目录里,oracle text也能在数据库里为文件建立索引。