当作为服务器运行时,Ollama当前将所有Ollama功能暴露为an API。如果作为公共API运行,API维护者可能只想暴露Ollama的生成和模型列表功能,以便他们的端点是“只读”的,而不是可以改变服务器状态的其他端点(推送、拉取、删除等)。我们可以设想一个环境变量,如OLLAMA_READ_ONLY,以实现上述目标。
OLLAMA_READ_ONLY
x4shl7ld1#
CC @wietsevenema
56lgkhnf2#
你可能在服务器周围运行一些其他基础设施,而不仅仅是将裸露的ollama服务器放在互联网上。你不能在其前面运行一个代理吗?然后对那些改变服务器状态的端点进行空值或需要认证吗?
wyyhbhjk3#
我同意,这是推荐的做法。但是我们不会阻止用户仅仅暴露原始的Ollama API,我宁愿有一种"一个环境变量"的方式来使其只读,而不是要求每个人设置一个代理。
3条答案
按热度按时间x4shl7ld1#
CC @wietsevenema
56lgkhnf2#
你可能在服务器周围运行一些其他基础设施,而不仅仅是将裸露的ollama服务器放在互联网上。你不能在其前面运行一个代理吗?然后对那些改变服务器状态的端点进行空值或需要认证吗?
wyyhbhjk3#
我同意,这是推荐的做法。
但是我们不会阻止用户仅仅暴露原始的Ollama API,我宁愿有一种"一个环境变量"的方式来使其只读,而不是要求每个人设置一个代理。