为了回答我自己的问题，我现在使用Egor建议的终结器（__gc元方法）。在代码中，它看起来像这样：
首先，我们需要创建一个元表，我们可以使用它的__gc来进行清理：

#define PRIVATEHANDLE "PRIVATE*"

luaL_newmetatable(L, PRIVATEHANDLE);
lua_pushliteral(L, "__index");
lua_pushvalue(L, -2);
lua_rawset(L, -3);  

lua_pushstring(L, "__gc");
lua_pushcclosure(L, iteratorfunction_gc, 0);
lua_settable(L, -3);

lua_pop(h, 1);

然后我们需要将用户数据与元表关联起来，这样一旦Lua决定删除用户数据，我们的__gc方法就会被调用，因此我们这样做：

struct mystate *s = (struct mystate *) lua_newuserdata(L, sizeof(struct mystate));
memset(s, 0, sizeof(struct mystate));

luaL_getmetatable(L, PRIVATEHANDLE);
lua_setmetatable(L, -2);

最后，我们需要实现iteratorfunction_gc来进行实际的清理。这可能看起来像这样：

static int iteratorfunction_gc(lua_State *L)
{
    struct mystate *s = (struct mystate *) luaL_checkudata(L, 1, FILEHANDLE);

    if(s->file) fclose(s->file);
    if(s->data) free(s->data);

    ...additional cleanup here...

    return 0;
}

测试了它，这做的工作真的很好。问题解决了不知道为什么人们试图关闭这个问题。

不幸的是，Lua没有提供一种在自定义迭代器中进行清理的方法。然而，有一个非常简单的替代方案：请改用函数样式的循环。
例如，而不是这个结构：

for i, line in mylines() do
    if line == "" then break end
    print(line)
end

你可以这样实现它：

mylines(function(i, line)
    if line == "" then return true end
    print(line)
end)

在这种情况下，mylines()可以很容易地检测到函数何时返回true，从而知道何时取消循环并执行清理。
实际上我更喜欢函数式的循环，因为它们也允许返回其他值来指示循环内部的状态，所以这是一种有效的双向通信方式。对于自定义迭代器，您需要采取一些更简单的方法，例如传递状态表或调用终结器函数。

for i, line, finish in mylines() do
    if line == "" then
        finish()
        break
    else
        print(line)
    end
end

函数式循环的唯一缺点是，你不能在循环上下文中从 parent 函数返回。但根据我的经验，这是很少需要的。