solaris-amd64-oraclerel
构建器似乎以no space left on device
错误的方式频繁失败:
2021-05-24T20:15:56-15d9d4a/solaris-amd64-oraclerel
2021-05-10T15:11:50-ecb7392/solaris-amd64-oraclerel
2021-05-03T16:42:22-169155d/solaris-amd64-oraclerel
2021-04-28T19:13:50-ad989c7/solaris-amd64-oraclerel
2021-04-26T21:27:41-9f60169/solaris-amd64-oraclerel
2021-04-08T20:55:59-0243799/solaris-amd64-oraclerel
2021-04-08T02:08:45-b261fe9/solaris-amd64-oraclerel
2021-03-30T21:06:17-4fbd30e/solaris-amd64-oraclerel
对我来说,不清楚是构建器脚本没有清理某些东西,设备磁盘因为其他原因变得太满,还是构建器只是配置为同时运行太多的构建。
CC @golang/release @rorth
4条答案
按热度按时间6fe3ivhb1#
Bryan C. Mills @**.**>写道:
solaris-amd64-oraclerel
构建器似乎以no space left on device
错误的方式偶尔失败:[...]
对我来说,不清楚是构建器脚本无法清理某些内容,还是设备磁盘因其他原因变得过于拥挤,或者构建器只是配置为并行运行太多的构建。
我四处查看,可能存在几个问题: 在每个失败的构建中,/tmp 都是满的。它大约有 40 GB 在构建主机上,但位于 tmpfs 中,因此与交换空间共享空间。 尽管在停止构建服务后,golang 仍然在 /tmp/workdir-host-solaris-oracle-amd64-oraclerel(其中约一半位于 go/pkg/obj/go-build)中留下了约 931 MB 的空间,但仍然有很多空闲空间。 我不确定并行度是否过高:golang 构建器最多使用 4 个核心,而在同一主机上运行另一个具有 8 个核心的 llvm buildbot,而主机上有 24 个核心。 考虑到所有这些,我怀疑(但这只是我的猜测)某些 llvm 测试用例要么耗尽了 /tmp(不太可能,因为 llvm 临时文件似乎仅位于 /var/tmp 中),要么是 VM/swap(更有可能:我过去曾经遇到过类似的失控的 llvm 测试用例),如果它们像清理临时文件一样对资源控制如此懒惰(/var/tmp中有 350k 个文件),这似乎是最有可能的原因。为了解决这个问题,有几个选项: 增加 RAM 或交换空间。* 限制服务的 VM消耗。我会调查其中的任何一个。
juud5qan2#
This has started occurring intermittently again.
greplogs --dashboard -md -l -e '(?ms)\Asolaris-amd64-oraclerel.* no space left on device' --since=2021-03-26
2022-04-23T05:38:56-9717e8f/solaris-amd64-oraclerel
2022-04-19T17:05:22-4804c43-689dc17/solaris-amd64-oraclerel
[note 11-month gap!]
2021-05-24T20:15:56-15d9d4a/solaris-amd64-oraclerel
2021-05-10T18:10:43-ecb7392-73d5aef/solaris-amd64-oraclerel
2021-05-03T16:42:22-169155d/solaris-amd64-oraclerel
2021-04-28T19:13:50-ad989c7/solaris-amd64-oraclerel
2021-04-26T21:27:41-9f60169/solaris-amd64-oraclerel
2021-04-08T21:58:35-0243799-d67e739/solaris-amd64-oraclerel
2021-04-08T07:33:58-b261fe9-a7e16ab/solaris-amd64-oraclerel
2021-03-31T14:26:53-4fbd30e-2940614/solaris-amd64-oraclerel
5anewei63#
Bryan C. Mills ***@***.***> writes:
这个问题又开始间歇性地出现了。
greplogs --dashboard -md -l -e '(?ms)\Asolaris-amd64-oraclerel.* no space left on device' --since=2021-03-26
2022-04-23T05:38:56-9717e8f/solaris-amd64-oraclerel2022-04-19T17:05:22-4804c43-689dc17/solaris-amd64-oraclerel [note 11-month gap!][...] 我最近被迫将托管构建器的区域迁移到另一台机器上。在这个过程中,交换空间不小心从32 GB减少到了4 GB。由于WORKDIR位于/tmp(tmpfs),虚拟机内存不足可能导致这些错误。我已经恢复了之前的交换空间大小,这应该会使问题消失,就像过去一年一样。
khbbv19g4#