StableDiffusion嵌入现实世界,能在墙上直接长出小猫咪,手机
2022-10-19 11:01 来源:IT之家 阅读量:5909 小 中
你看,你面前有一面平平无奇的墙。
现在,你可以根据自己的意愿,让它凭空长出东西来。
喜欢...一只小猫。
没错,稳定扩散又能开新花!
这一次,重点是稳定扩散的触角伸向了现实世界——结合WebAR。
目前这个凭空长出一只猫的视频还是挺火的。
伴随着新世界的开启,部分网友对AR+SD更感兴趣:
还有人说:
这简直就是很酷的新版《反恐精英》!
来看看这个很酷的新东西吧~
玩SD AR
首先拿起手机,然后随机选择一面墙,通过屏幕界面锁定:
选择一个喜欢的区域,圈出并全部涂黑。
输入提示词:
可爱的小猫,涂鸦风格,数字艺术。
然后点击输入框底部的扩散按钮,快进到见证奇迹的时刻。
此时,无论从哪个角度看,墙上都有一张妙娜丽莎微笑着看着你的照片。
这个视频是我小哥哥第一个用无尽火低门槛的稳定扩散,结合WebAR做出来的实验产品。
他在评论区和围观者讨论具体的工作流程。
第一步是定格,用它作为生成图像的表面纹理,让它有一个世界定位和设备跟踪摄像头。
第二步,向服务器发送API请求,并附上冻结帧和稳定扩散。
在整个工作中,将稳定扩散嵌入到现实世界是由AR完成的。
对于绘制纹理,哥哥用的是Raycast。
整个过程简洁利落,引发了网友的新思考。
目前有很多有趣的NPU硬件,手机共享内存超过12GB。
在这个前提下,如果Stable Diffusion和AR可以一起玩这个作业,并在本地运行,它可以在类似的请求时间内完成整个512x512图像生成,并在更快的AI上运行升级,这将是非常有趣的。
小哥自己也说了,这份工作只是第一次尝试,一切都只是稳定扩散和AR结合的开始。
但大部分网友认为这已经是很有趣的工作了,甚至想在上面涂鸦几个小时。
AIGC打破了次生壁
稳定扩散之风吹向现实世界,绝不是哥哥一个人的想法。
具体操作过程基本在原有基础上加持了AR。
就在前几天,另一个小哥用稳定扩散做了一个视频透视光学透视眼镜。
具体来说就是小哥哥做了一个扩散稳定的虚拟AR眼镜,然后通过手机屏幕上的眼镜镜片实现AR效果。
生成的虚拟AR眼睛不仅有力量提示,还能展现出westworld,丛林,外星人等多种画面风格。
此外,还有人结合Meta旗下的AR创作工具Spark AR,利用稳定扩散来假装自己拿着一个小方块牌。
你知道,上面有动画的那种。
但是这种稳定扩散产生的图像并不是实时生成的,而是提前录制的,因为目前的Spark AR版本还不支持AI和ML。
非常好,通过稳定的扩散,AI和AR又一次紧密相连。
反正稳定扩散这么火,不仅仅是因为效果惊人,还因为它触及到文本生成图像以外的领域时非常厉害~
参考链接:
。郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。