【宅技术】AR(现实扩展)在MIKU上的应用

impact · 发表于 2010-7-27 11:49

AR(Augmented Reality):现实扩展。简单地说就是说是将虚拟的景物重叠到真实的景物之重。
和AR相关的一个概念是AV(Augmented Virtually)虚拟扩展。
看一下《诺基亚的现实增强愿景》和《微软的愿景未来2019》的视频，能够有个很直观的理解。

使用的程序：
GLUT(ttp://www.opengl.org/resources/libraries/glut/)
MikuMikuDance（DirectX9 Ver）(ttp://www.geocities.jp/higuchuu4/index.htm)
artk_alive(ttp://ppyy.hp.infoseek.co.jp/artk_alive.html)
以上程序的开发者都提供了源代码，有兴趣的人可以自己继续开发。

测试使用的系统环境
win 7 ultimate、intel E7300、P43主板、4G内存、ATI HD 5500 SERIES、logitech pro 9000摄像头

=================================================================
1.基础安装
自行安装DIRECTX和Microsoft Visual C++ 2008 runtime还有.NET framework

2.安装GLUT
GLUT代表OpenGL应用工具包，英文全称为OpenGL Utility Toolkit，是一个和窗口系统无关的软件包，
它由Mark Kilgard在SGI时写的。作为AUX库的功能更强大的替代品，用于隐藏不同窗口系统 API的复杂性。
将下载后glut-3.7.6-bin.zip解压。将其中的glut32.dll复制到C:\Windows\System32

3.安装artk_alive
artk_alive是ARToolKit(ttp://www.hitl.washington.edu/artoolkit/)的派生软件。
ARToolKit是加藤博一在华盛顿大学HITL工作时开发的AR软件。
artk_alive作为ARToolKit的派生，可以读取MikuMikuDance的PMD文件（模型文件）。
将artk_alive.zip解压得到ARTK_Alive文件夹待用。

4.解压MikuMikuDance(简称MMD)
在MikuMikuDance_v706\UserFile\Model文件夹下有若干pmd文件，这就是MMD的模型文件。
这次我们使用初音ミクVer2.pmd这个文件。
=================================================================

ARToolKit基础原理

连接在电脑上的USB摄像头将现实环境拍摄下来。在现实环境中放入marker(1个特定的印刷图案)。
软件探测到marker之后就会将事先定义好的3D模型在电脑中的显示的现实环境中，演算（生成）出虚拟物体。
从而达到AR的效果。

=================================================================

MARK的准备

将此图片打印出来。
小提示：演算出来的虚拟物体的大小和marker大小成正比。
如果是在桌面上玩的话建议把此图片缩小到60%后打印出来。

打印好后将6个mark分别减下来。注意黑框外边一定要留白边。否则USB摄像头的识别能力会大大下降！
将4个小marker贴在筷子上（方便运动）。
左上角的marker就代表MIKU，左下角的mark是ARToolKit测试用marker，本次用不上。

制作好的marker

启动ARTK_Alive程序
打开ARTK_Alive文件夹里的ARTK_Alive.exe程序。
首先进入USB摄像头的设定画面。

这里注意帧率最好不要低于30

装过FFDSHOW会让你选择一下

我选的ffdshow

进入摄像头的拍摄的画面发现marker已经生效了

但是MIKU还没有出现。
点击鼠标右键，选择打开PMD文件（MMD文件夹里的初音ミクVer2.pmd）。

MIKU出现了！因为是3D的转动marker或者转动摄像头，MIKU也会跟着动。

两种玩法
一种是用大葱的marker去触摸MIKU（还可以掀裙子… Orz），看MIKU的反应。

另一种是按下键盘上的”J”键，可以和MIKU玩猜拳。自己任选一种和MIKU比试。

平手的话继续。胜负都有相应的反应。
结束之后再按一次”J”键，重来。

结尾：
artk_alive的作者还制作了一个软件artk_mmd。这个软件除了读取PMD文件，还可以读取MMD的VMD文件。
VMD是MMD的动作文件，也就是说可以让虚拟角色在桌面上舞蹈…
前提是还要安装一个Bullet Physics SDK到C:\Program Files\bullet文件夹下
基本上是nico上的MAD在你的桌子上的实现（非常强大！）

今年情人节KONAMI作为特别活动制作了LOVEPLUS角色的AR(应该是用的ARToolKit)

参考来源：
1.工学ナビー(ttp://kougaku-navi.net/ARToolKit.html)
2.window100%
3.天涯海阁
现实增强(扩张实境)及其相关应用简介『Augmented Reality』
ttp://www.web20share.com/2009/12/augmented-reality.html

交互改变未来：现实增强应用『Augmented Reality』
ttp://www.web20share.com/2010/01/augmented-reality-videos.html

4.VPVP wiki
ttp://www6.atwiki.jp/vpvpwiki/pages/65.html

macroth · 发表于 2010-7-27 11:56

好贴马克

saiyling · 发表于 2010-7-27 12:01

很有兴趣，有空来仔细学习一下~

水生物种 · 发表于 2010-7-27 12:21

还没看懂，不过先MARK

lupin · 发表于 2010-7-27 12:39

看不懂。。。先MARK了再说

LEGEND-911 · 发表于 2010-7-27 13:22

之前那個ARFigure作者的新作？

hzqiji · 发表于 2010-7-27 14:21

我记得这个去年有人贴过了啊

akitox · 发表于 2010-7-27 15:13

技术的MIKU 蛋痛的MIKU。哦也

啥都控星人 · 发表于 2010-7-27 15:33

MARK

DGIL · 发表于 2010-7-27 15:38

技术宅GJ，就算2012后也能创造新世界的！我坚信！

mayahs · 发表于 2010-7-27 15:55

地址进去看了下，这几张很有感觉啊

superoyfc · 发表于 2010-7-27 17:35

自制方块玩过那个女仆的………………说心里话这套技术还相当不成熟……………………

水羽楠叶 · 发表于 2010-7-27 21:23

先MARK

kokyou · 发表于 2010-7-27 21:33

先MARK

nustxujun · 发表于 2010-7-28 15:05

mark先。。有时间尝试一下看看

rei_2014 · 发表于 2010-7-28 15:22

回去玩玩看。

Elevation · 发表于 2010-7-28 19:45

MARK
等主机过来试试

soniccc · 发表于 2010-7-28 21:52

今年情人节KONAMI作为特别活动制作了LOVEPLUS角色的AR(应该是用的ARToolKit)

望向发帖时间。。是上年对吧

25876994 · 发表于 2010-7-28 23:12

好帖马克

pzgr43 · 发表于 2010-7-28 23:45

3DMark

valkrie · 发表于 2010-7-29 11:17

被掐脖子的表情不错

		自动登录	找回密码
密码			立即注册

[原创] 【宅技术】AR(现实扩展)在MIKU上的应用