go ``\` x/build: solaris-amd64-oraclerel failures with "no space left on device" \`\``

64jmpszr  于 5个月前  发布在  Go
关注(0)|答案(4)|浏览(48)

solaris-amd64-oraclerel构建器似乎以no space left on device错误的方式频繁失败:
2021-05-24T20:15:56-15d9d4a/solaris-amd64-oraclerel
2021-05-10T15:11:50-ecb7392/solaris-amd64-oraclerel
2021-05-03T16:42:22-169155d/solaris-amd64-oraclerel
2021-04-28T19:13:50-ad989c7/solaris-amd64-oraclerel
2021-04-26T21:27:41-9f60169/solaris-amd64-oraclerel
2021-04-08T20:55:59-0243799/solaris-amd64-oraclerel
2021-04-08T02:08:45-b261fe9/solaris-amd64-oraclerel
2021-03-30T21:06:17-4fbd30e/solaris-amd64-oraclerel
对我来说,不清楚是构建器脚本没有清理某些东西,设备磁盘因为其他原因变得太满,还是构建器只是配置为同时运行太多的构建。
CC @golang/release @rorth

6fe3ivhb

6fe3ivhb1#

Bryan C. Mills @**.**>写道:
solaris-amd64-oraclerel 构建器似乎以 no space left on device 错误的方式偶尔失败:
[...]
对我来说,不清楚是构建器脚本无法清理某些内容,还是设备磁盘因其他原因变得过于拥挤,或者构建器只是配置为并行运行太多的构建。
我四处查看,可能存在几个问题:
在每个失败的构建中,/tmp 都是满的。它大约有 40 GB 在构建主机上,但位于 tmpfs 中,因此与交换空间共享空间。
尽管在停止构建服务后,golang 仍然在 /tmp/workdir-host-solaris-oracle-amd64-oraclerel(其中约一半位于 go/pkg/obj/go-build)中留下了约 931 MB 的空间,但仍然有很多空闲空间。
我不确定并行度是否过高:golang 构建器最多使用 4 个核心,而在同一主机上运行另一个具有 8 个核心的 llvm buildbot,而主机上有 24 个核心。
考虑到所有这些,我怀疑(但这只是我的猜测)某些 llvm 测试用例要么耗尽了 /tmp(不太可能,因为 llvm 临时文件似乎仅位于 /var/tmp 中),要么是 VM/swap(更有可能:我过去曾经遇到过类似的失控的 llvm 测试用例),如果它们像清理临时文件一样对资源控制如此懒惰(/var/tmp中有 350k 个文件),这似乎是最有可能的原因。为了解决这个问题,有几个选项:
增加 RAM 或交换空间。* 限制服务的 VM消耗。我会调查其中的任何一个。

5anewei6

5anewei63#

Bryan C. Mills ***@***.***> writes:

这个问题又开始间歇性地出现了。greplogs --dashboard -md -l -e '(?ms)\Asolaris-amd64-oraclerel.* no space left on device' --since=2021-03-262022-04-23T05:38:56-9717e8f/solaris-amd64-oraclerel2022-04-19T17:05:22-4804c43-689dc17/solaris-amd64-oraclerel [note 11-month gap!]

[...] 我最近被迫将托管构建器的区域迁移到另一台机器上。在这个过程中,交换空间不小心从32 GB减少到了4 GB。由于WORKDIR位于/tmp(tmpfs),虚拟机内存不足可能导致这些错误。我已经恢复了之前的交换空间大小,这应该会使问题消失,就像过去一年一样。

khbbv19g

khbbv19g4#

`greplogs -l -e '(?ms)\Asolaris-amd64-oraclerel.* no space left on device' --since=2022-04-24`
[2022-05-03T19:58:15-7c404d5/solaris-amd64-oraclerel](https://build.golang.org/log/b58aff1599db681aedc1e608dbf6f684f28ce313)
[2022-04-25T15:49:44-12763d1/solaris-amd64-oraclerel](https://build.golang.org/log/0fba2e764f624e34e67266633752b90bafec26db)

相关问题