我的web应用程序是电子邮件服务。它在mysql数据库中存储电子邮件,电子邮件附件在磁盘上。
数据库类似于:
----------------------------------------------------------------------
| id | sender | receiver | subject | body | attach_dir | attachments |
----------------------------------------------------------------------
| 2 | 444 | 555 | Apples | Hey! | /mnt/emails| att1.doc\r\n|
| | | | | | | att2.doc\r\n|
----------------------------------------------------------------------
| 3 | 77 | 22 | Pears | Hola!| /mnt/emails| att1.zip\r\n|
----------------------------------------------------------------------
我使用以下data-config.xml对其进行索引:
<dataConfig>
<dataSource name="mysql"
type="JdbcDataSource"
driver="com.mysql.jdbc.Driver"
url="jdbc:mysql://localhost:3306/email?
useUnicode=true&
characterEncoding=UTF-8&
useTimezone=true&
serverTimezone=UTC"
user="user"
password="pass"/>
<dataSource name="files"
type="BinFileDataSource" />
<document>
<entity name="email" dataSource="mysql"
query="SELECT id, subject, body, date, attach, attach_dir FROM email"
transformer="RegexTransformer"
>
<field column="id" name="id"/>
<field column="subject" name="subject"/>
<field column="body" name="content"/>
<field column="date" name="last_modified"/>
<field column="attach" name="attach" splitBy="\r\n" />
<field column="attach_dir" name="attach_dir"/>
<entity name="attach_glob" dataSource="null"
processor="FileListEntityProcessor"
baseDir="/mnt/attach/${email.attach_dir}" fileName=".*"
recursive="false" onError="skip">
<entity name="email_attachment" dataSource="files"
processor="TikaEntityProcessor"
url="${attach_glob.fileAbsolutePath}">
<field column="text" name="attach_content"/>
</entity>
</entity>
</entity>
</document>
</dataConfig>
这对于除压缩文件以外的所有文件都很有效,例如 .zip
. 为了 .zip
文件 attach_content
字段只填充zip存档中的文件名,而不是从zip存档中提取的文件的内容。
但是如果我使用 SimplePostTool
这样地:
/opt/solr/bin/post -c mycollection /mnt/attach/message3/att1.zip
然后我从zip存档中的所有文件中提取所有内容,这就是我所需要的。但我需要这些内容成为数据导入处理程序使用上面的data-config.xml添加的文档的一部分。
这可能吗?
1条答案
按热度按时间lxkprmvk1#
您需要在tikaentityprocessor配置上将extractedembedded设置为true,以便在apachetika parsecontext中为它设置适当的解析器来解析嵌入的文档。
例如,您可以将问题中的配置更改为如下所示的设置:
请参阅此处了解更多详细信息。