最近在学习 AR 技术,发现许多 3D 模型映射到屏幕上的时候都会和真实世界的背景有较大的突兀感,我想能不能通过结合风格迁移把真实世界的背景和 3D 模型的风格进行融合。
最近在学习 AR 技术,发现许多 3D 模型映射到屏幕上的时候都会和真实世界的背景有较大的突兀感,我想能不能通过结合风格迁移把真实世界的背景和 3D 模型的风格进行融合。
|
PandroidJun 11, 2020 via iPhone
1
目前风格迁移主要都是照片。视频流实时风格迁移性能太差了
|
|
acrossJun 11, 2020 via iPhone
3
突兀感是来自光照识别(色温方向强度一类)和深度识别吧。
要靠硬件进步了... |
|
zhangsimonJun 11, 2020
4
为什么会有突兀感呢?
环境光和阴影是主要原因吧,了解下三维渲染用的 HRD 贴图? |
|
5
@across @zhangsimon 是的,环境因素的识别确实是影响 AR 识别,所以我想通过识别环境和 3D 物体的材质来完成生成新的图像。
|
|
6
@AmiKara 跟风格迁移算法和硬件算力最相关。
其实 3D 模型与环境融合有很多影响因素,比如与现实世界物体的遮挡关系、模型渲染质量、对于环境光的反射,物体实时阴影等。 推荐一个 AR 相关的 Wiki,非技术内容,我自己搞的: http://iar.design/#/ |