apachesolr-index zip文件

icomxhvb  于 2021-06-29  发布在  Java
关注(0)|答案(1)|浏览(406)

我的web应用程序是电子邮件服务。它在mysql数据库中存储电子邮件,电子邮件附件在磁盘上。
数据库类似于:

----------------------------------------------------------------------
| id | sender | receiver | subject | body | attach_dir | attachments |
----------------------------------------------------------------------
| 2  | 444    | 555      | Apples  | Hey! | /mnt/emails| att1.doc\r\n|
|    |        |          |         |      |            | att2.doc\r\n|
----------------------------------------------------------------------
| 3  | 77     | 22       | Pears   | Hola!| /mnt/emails| att1.zip\r\n|
----------------------------------------------------------------------

我使用以下data-config.xml对其进行索引:

<dataConfig>
<dataSource name="mysql"
            type="JdbcDataSource" 
            driver="com.mysql.jdbc.Driver"
            url="jdbc:mysql://localhost:3306/email?
              useUnicode=true&#038;
              characterEncoding=UTF-8&#038;
              useTimezone=true&#038;
              serverTimezone=UTC"
            user="user" 
            password="pass"/>

<dataSource name="files"
            type="BinFileDataSource" />
<document>
  <entity name="email" dataSource="mysql"
    query="SELECT id, subject, body, date, attach, attach_dir FROM email"
    transformer="RegexTransformer"
   >
     <field column="id" name="id"/>
     <field column="subject" name="subject"/>
     <field column="body" name="content"/>
     <field column="date" name="last_modified"/>
     <field column="attach" name="attach" splitBy="\r\n" />
     <field column="attach_dir" name="attach_dir"/>
     <entity name="attach_glob" dataSource="null" 
     processor="FileListEntityProcessor" 
     baseDir="/mnt/attach/${email.attach_dir}" fileName=".*" 
     recursive="false" onError="skip">
         <entity name="email_attachment" dataSource="files" 
         processor="TikaEntityProcessor" 
         url="${attach_glob.fileAbsolutePath}">
             <field column="text" name="attach_content"/>
         </entity>
     </entity>         
  </entity>
</document>
</dataConfig>

这对于除压缩文件以外的所有文件都很有效,例如 .zip . 为了 .zip 文件 attach_content 字段只填充zip存档中的文件名,而不是从zip存档中提取的文件的内容。
但是如果我使用 SimplePostTool 这样地:

/opt/solr/bin/post -c mycollection /mnt/attach/message3/att1.zip

然后我从zip存档中的所有文件中提取所有内容,这就是我所需要的。但我需要这些内容成为数据导入处理程序使用上面的data-config.xml添加的文档的一部分。
这可能吗?

lxkprmvk

lxkprmvk1#

您需要在tikaentityprocessor配置上将extractedembedded设置为true,以便在apachetika parsecontext中为它设置适当的解析器来解析嵌入的文档。
例如,您可以将问题中的配置更改为如下所示的设置:

<entity name="email_attachment" dataSource="files" 
     processor="TikaEntityProcessor" 
     url="${attach_glob.fileAbsolutePath}" extractEmbedded="true">
         <field column="text" name="attach_content"/>
  </entity>

请参阅此处了解更多详细信息。

相关问题