xcode 使用ARKIT检测面部不同部位

hujrc8aj  于 2023-03-19  发布在  其他
关注(0)|答案(3)|浏览(123)

我读过一个ARKit跟踪
https://www.raywenderlich.com/5491-ar-face-tracking-tutorial-for-ios-getting-started

  • 眼睛(左/右)鼻子嘴唇

我们能检测到

  • 耳朵(左/右)头(发)帽胡须八字胡在哪个位置呢?
    另外,我们能否使用带有.线的面罩跟踪完整的面部(包括头部和耳朵)?
o4hqfura

o4hqfura1#

目前,耳朵头发帽子胡子没有混合形状。因此,除非在未来的ARKit版本中添加,否则您无法检测/跟踪它们。
您可以查看支持的面部表情(混合变形)here的完整列表。

6fe3ivhb

6fe3ivhb2#

ARKit不支持耳朵检测,但Firebase MLKit支持耳朵检测。
https://firebase.google.com/docs/ml-kit/face-detection-concepts

yptwkmov

yptwkmov3#

TrueDepth摄像头是苹果ARKit平台的一部分,可以实时跟踪人脸的运动和表情。
前置摄像头用于在面部跟踪配置中识别用户。当AR会话运行时,检测用户的面部,并将代表该面部的ARFaceAnchor对象添加到锚点列表中。
AR身体跟踪配置
ARKit的身体跟踪配置使用ARBodyAnchor来跟踪身体的力矩。
当ARKit框架识别出后方摄像头视图中的人物时,它调用代理对象的session(_:didAdd:)函数。

static var hipToFootOffsetCal: Float {

let footIndexs = ARSkeletonDefinition.defaultBody3D.index(forJointName: .leftFoot)

let footTransforms = ARSkeletonDefinition.defaultBody3D.neutralBodySkeleton3D!.jointModelTransforms[footIndexs]

let distanceFromHipsOnY = abs(footTransforms.columns.3.y)

return distanceFromHipsOnY}

frameSemantics包括bodyDetection,它提供对ARKit在摄像头提要中检测到的用户关节位置的访问。
ARWorldTrackingConfiguration类使用三个旋转轴和三个平移轴跟踪设备移动。
如果您想了解更多关于如何在映像check it out here中实现ARKit的信息。

相关问题