manual page相当明确地说明了这一点。

int shmget(key_t key, size_t size, int shmflg);

如果 shmflg 同时指定了IPC_CREAT和IPC_EXCL，并且键的共享内存段已存在，则shmget（）将失败，并将 errno 设置为EEXIST。
再次，旗帜：

IPC_创建

• 创建一个新的段。如果不使用此标志，则**shmget（）**将查找与 key 关联的段，并检查用户是否具有访问该段的权限。
  IPC_排除
• 此标志与IPC_CREAT一起使用，以确保此调用创建段。如果段已存在，则调用失败。

或者，如果未指定标志IPC_CREAT，并且对于给定的key不存在存储器段，则shmget失败并将errno设置为ENOENT。

枚举

• 给定的 key 不存在段，并且未指定IPC_CREAT。

所以你可能想试试

errno = 0;

if (-1 == shmget(key, size, IPC_CREAT | IPC_EXCL)) {
    if (EEXIST == errno) {
        /* shared memory already exists */
    }
}

或

errno = 0;

if (-1 == shmget(key, size, 0)) {
    if (ENOENT == errno) {
        /* shared memory does not exist */
    }
}

另一方面，ftok(3)失败的原因与stat(2)相同。