通过流访问大型对象(longblob)

kyvafyod 于 2021-06-20 发布在 Mysql

关注(0)|答案(1)|浏览(290)

我试图使用数据库缓存作为一种手段来缓存非常大的对象，然后我想流式处理这些对象，而不是加载到内存中并返回。
为此，我尝试了以下方法：
我使用以下迁移创建了数据库缓存：

public function up() {
    Schema::create('cache', function (Blueprint $table) {
        $table->string('key')->unique();
        $table->longText('value');
        $table->integer('expiration');
    });
    DB::statement("ALTER TABLE `cache` MODIFY `value` LONGBLOB");
}

改变的原因是 longText 不能很好地处理我需要存储的一般二进制对象。
然后，我尝试了以下代码来测试blob字段的流：

public function test(Request $request) {
    cache()->store("database")
        ->put("randomStr", str_random(1024), 5); //Test string. Real cases are about 200 MB

    return response()->stream(function () {
        $fullKey = config("cache.prefix")."randomStr";
        $pdo = \DB::getPdo();
        $stmt = $pdo->prepare("select `value` from `cache` where `key`=:key");
        $stmt->bindParam("key", $fullKey);
        if ($stmt->execute()) {
            $stmt->bindColumn(1, $lob, \PDO::PARAM_LOB);
            $stmt->fetch(\PDO::FETCH_BOUND);
            fpassthru($lob);
        }
    });
}

此代码基于php:large objects手册页。
但是，我得到以下错误：
fpassthru（）期望参数1是资源，字符串给定
我已经检查过了 $lob 参数，并看到它是实际的字符串，而不是像我所希望的那样指向largeblob字段的流。
有没有办法让水滴流在拉威尔工作？
注意：很明显，2007年以来有一个bug#40913开放来修复这个问题，现在我的问题是：
有没有办法让一个大的blob流到一个响应中 PDO 或者 mysqli 或者php中的其他解决方法？

mysql php laravel pdo

来源：https://stackoverflow.com/questions/51539880/accessing-large-object-longblob-via-a-stream

1条答案

按热度按时间

vfhzx4xs1#

好吧，我已经想出了一个办法来解决这个问题，但它并不漂亮，不是长此以往。
所以这里发生了一些事情。
首先我得改变主意 cache()->driver(..)->put 直接数据库操作的方法。我这样做是因为遍历数据库时有一个序列化步骤，当数据流输出时，我无法处理这个步骤。此外，游戏的最后一步是使插入流操作，所以这将使它更容易。
我安装了 mysql 命令行客户端
我构造了一个命令行界面命令，它将获得所需的数据，传递正确的身份验证并构造要传递的查询 -e . 注意：我本可以通过 escapeshellarg 但就我的一生而言，我无法让它来对付背虱。还要注意 -N 用于从结果中删除列标题的参数。
我曾经 proc_open 它允许将输入/输出流传递回php。我用它将响应流输出到浏览器。注意：我还定义了其他流，我不是一个 proc_open 所以我不知道这是否必要。
代码就是这样：

public function test(Request $request) {
    $fullKey = config("cache.prefix")."randomStr";
    \DB::table("cache")
        ->updateOrInsert([
            "key" => $fullKey,
        ], [
            "value" => str_random(1024),
            "expiration" => Carbon::now(new \DateTimeZone("UTC"))->getTimestamp() + 5*60
        ]);
    return response()->stream(function () use ($fullKey) {
        $command = "/usr/bin/mysql";
        $arguments = [
            "-h ".config("database.connections.mysql.host"),
            "-P ".config("database.connections.mysql.port"),
            "-u ".config("database.connections.mysql.username"),
            "-p".config("database.connections.mysql.password"),
            "-D ".config("database.connections.mysql.database"),
            "-e \"SELECT \\`value\\` FROM \\`cache\\` WHERE \\`key\\`='$fullKey'\"",
            "-N"
        ];
        $p = proc_open($command." ".implode(" ",$arguments),[
            [ "pipe", "r"  ],
            [ "pipe", "w"  ],
            [ "pipe", "w"  ]
        ], $pipes);
        fpassthru($pipes[1]);
        fclose($pipes[0]);
        fclose($pipes[1]);
        fclose($pipes[2]);
        proc_close($p);
    });

}

这似乎管用，但并不好看。我可能会把它包在某个地方，再也不用看它了，但我愿意听取任何能做得更好的人的建议。
注意：所有这些仅仅是为了解决一个已经打开了11年的bug。我希望这真的能帮助别人。

赞(0）回复(0）举报 2021-06-20

我来回答

通过流访问大型对象(longblob)

1条答案

相关问题

热门标签

最新问答