前言

有了上一篇对于RealityKit的基础概念介绍，现在我们直接对于实景AR水平平面放置物品进行一个简单实现。

初始化

ARView

我们首先需要创建一个通过设备相机创建的现实场景，可以通过创建一个arView属性，同时设置cameraMode为ar（这边是个枚举，如果选择nonAr就是一个使用虚拟相机的场景）：

private lazy var arView: ARView = {
    let vi = ARView(frame: view.bounds, 
                    cameraMode: .ar, 
                    automaticallyConfigureSession: true)
    return vi
}()

同时为了不必要的渲染动作影响性能，可以对renderOptions进行配置：

...
    vi.renderOptions = [.disableCameraGrain, 
                        .disableHDR, 
                        .disableMotionBlur,
                        .disableDepthOfField,
                        .disableFaceOcclusions,
                        .disablePersonOcclusion, 
                        .disableGroundingShadows, 
                        .disableAREnvironmentLighting]
...

同时为了后期调试的方便，可以对应的打开debug模式，一般开一个世界坐标系就可以：

1
2
3

...
    vi.debugOptions = [.showWorldOrigin]
...

然后将arView添加到对应控制器中的视图就可以：

override func viewDidLoad() {
    super.viewDidLoad()

    view.addSubview(arView)
}

ARCoachingOverlayView

这边我们使用一个系统提供的AR引导动画，对它进行一个初始化：

private lazy var coachingOverlay: ARCoachingOverlayView = {
    let c = ARCoachingOverlayView(frame: arView.bounds)
    c.session = arView.session
    arView.addSubview(c)
}()

其实ARCoachingOverlayView可以直接对于平面识别后提供一个代理的回调，但是对于反复识别不够灵敏且使用上不够灵活，所以我们在设置识别平面后，会把自动识别到平面后消失的状态关闭，由我们手动控制，所以这边代理可实现可不实现（代理是针对ARCoachingOverlayView是否处于活跃状态的回调，由于我们自己手动控制它的状态，所以这些状态不一定要通过这个回调），但我们实现看下他的相关方法：

...
    c.delegate = self
    c.goal = .horizontalPlane
    c.activatesAutomatically = false
...

效果图

这时候我们可以看下效果图：

平面检测

现在我们需要对于现实世界进行一个平面检测，主要通过ARSession，ARSession无需我们自己创建，就是从ARView中直接获取，先把他声明下，方便使用：

1
2
3

private var session: ARSession {
    arView.session
}

然后对session进行一些配置，同时识别水平平面；这边我们创建的ARWorldTrackingConfiguration，它内部还有很多其他配置（如图片识别、人脸识别等等）：

private func setupARSession() {
    let configuration = ARWorldTrackingConfiguration()
    configuration.planeDetection = [.horizontal]
    configuration.environmentTexturing = .automatic
    session.run(configuration, options: [])
}

一个关键点，session的代理，在代理里面我们就可以在现实世界检测平面并做出回调：

1
2
3

...
    session.delegate = self
...

模型创建与放置

自定义Entity类

这边自定义一个AnchorEntity类，继承Entity和HasAnchoring两个协议，同时内部初始化异步加载一个ModelEntity，放置卡线程，异步方法内部实现是Combine框架（这边的模型直接使用苹果官方推荐的USDZ模型格式，其他还有OBJ格式的模型，但这种格式的模型和纹理是两个文件，在渲染合成后存在内存问题，虽然有解决方案，但感觉不是很完美）：

class ShoeEntity: Entity, HasAnchoring {
    private var cancels: Set<AnyCancellable> = .init()
    
    required init(name: String) {
        super.init()
        
        loadEntity(name: name)
    }
    
    private func loadEntity(name: String) {
        Entity.loadModelAsync(named: name).sink { error in
            debugPrint(error)
        } receiveValue: { [weak self] entity in
            self?.addChild(entity)
        }.store(in: &cancels)
    }
    
    required init() {
        fatalError("init() has not been implemented")
    }
}

我们定义一个模型属性：

1	private lazy var shoeEntity: ShoeEntity = .init(name: "shoe.usdz")

添加模型并展示

模型已经有了，然后就是在检测到锚点时关闭引导动画并展示我们的模型，，基础功能就完成了：

func session(_ session: ARSession, didAdd anchors: [ARAnchor]) {
    guard let anchor = anchors.filter({ $0 is ARPlaneAnchor }).first as? ARPlaneAnchor,
          anchor.alignment == .horizontal else {
        return
    }
    coachingOverlay.setActive(false, animated: true)
    shoeEntity.transform.matrix = anchor.transform
    arView.scene.addAnchor(shoeEntity)
}

效果视频

总结

以上就是一个简单的真实世界识别水平平面并展示模型的一个流程，在整理文章的过程中也让我对RealityKit有了更深的理解，把他更为精简的实现。
后续的话，还有更多的细节可以优化，包括光照，手势，位置修正等等，有时间再更。

RealityKit - 实景AR

RealityKit AR with the Device's Camera

前言

初始化