🐛 Bug
aimrocks.errors.RocksIOError: b'IO error: While open a file for random read: /.aim/meta/chunks/d9b1e76ebed74634b9545c8e/000009.sst: Too many open files'
Made close to 900 API calls to OpenAI, and ran
aim_callback.flush_tracker
each time.
重现问题
向OpenAI LLM请求进行关键词提取和实体提取，处理一系列文档。
文档的长度并不长=文档的平均字符长度约为5250个字符
预期行为
我希望能够使用Aim UI分析不同的API调用
环境
Python 3.9
macOS 13.2.1
aim 3.17.3
aim-ui 3.17.3
aimrecords 0.0.7
aimrocks 0.4.0
langchain 0.0.141
openai 0.27.2
openapi-schema-pydantic 1.2.4
其他信息
该错误是由于打开了太多文件导致的。在macOS上，每个进程最多可以同时打开256个文件。当尝试打开更多文件时，就会出现这个错误。为了解决这个问题，可以尝试关闭一些不需要的文件或者增加系统的文件描述符限制。
3条答案
按热度按时间t3irkdon1#
@datascientist 感谢您的提问。
@alberttorosyan 这与不当的运行闭包有关吗？
fdbelqdn2#
@datascientist 900个电话是单个执行/场景的一部分还是900个不同的执行？
h4cxqtbf3#
我拥有400多个文档，对于每个文档，我都让LLM执行两个单独的任务(然后我处理、解析和记录),每个任务都是不同的调用/执行。因此，总共接近900个调用。