REDMI K100搭载小米WorldCast技术：一键生成3D运镜视频
小米技术正式发表文章，详细介绍了其自主研发的视觉生成框架WorldCast及其在手机上的应用。该框架已于10月27日配备REDMI K100，为用户提供3D运镜AI图像功能。
WorldCast的核心能力是将静态照片转换成具有围绕、推拉、倾斜等运镜效果的3D视频。
用户只需从相册中选择一张照片，人工智能就可以生成一个大角度的3D镜像视频，并在镜头运动过程中保持图片中人物面部特征、发型和衣服的一致性。
该功能并非独立存在，它与一键动图、希区柯克变焦、延时拍摄共同构成REDMI K100人工智能图像玩法矩阵。
从技术角度看，WorldCast需要解决两个问题：一是复杂镜像轨迹的准确跟踪，二是角色身份在大角度变化下的一致性。
小米的解决方案包括三个模块：一是通过深度估计模型将二维照片提升到三维空间，构建彩色三维点云，然后沿目标相机轨迹渲染指导图；
其次，引入几何对齐的记忆注意机制（GAMA），通过多视角锚点图补充角色背面等不可见区域的外观信息；
CLACT最终构建了一个训练数据集，包括8万个样本和42个场景的评价标准。
在CLACT基准测试中(42个场景 x WorldCast在所有相机控制和角色一致性指标上获得第一名。
其中，轨迹精度指标ATE从之前最优的0.098降至0.065，跨角度几何一致性指标MET3R达到全场最佳，身份相似性比次优方法提高28%左右，画质IQ保持在0.719的第一梯队水平。
免责声明：网站内容仅作资讯展示，不构成各类业务指导建议。访问者应当自行甄别信息，审慎评估风险，因使用本站信息产生的相关后果由使用者自行承担。本站尊重各方知识产权，如有侵权内容，可联系站长进行处理。