« iOSプログラミング>VRビューワー(2) | トップページ | オスプレイ、モロッコ事故の最終報告書にもの申す »

2012年8月18日 (土)

iOSプログラミング>VRビューワー(3)

前回、拙作VRViewerをビルドできるようにコードとビルドの方法を示したが、このプログラムをいじって改変できるように動作の仕組みを解説していく。
このプログラムには次のような技術が含まれており、これらを順に追加してVRViewerを作る様子をなぞる形で解説する。
・OpenGL
・SkyBox Effect
 OpenGL/GLKitを利用した、全周画像を表示する効果(エフェクト)。
・Core Location、Core Motion
 位置や姿勢を検出するためのiOSのフレームワーク。
・外部ビデオ出力
 HMDなど、iPhone本体の外にある表示装置に表示できるようにする。

なお、ここではVRViewerを作る事に関係する部分だけを解説していく。それぞれの技術の詳しい解説、仕様等はアップルのサイトで入手して欲しい。(英文が多いけど)
今回はOpenGLとSkyBox Effectについて解説する。

1.OpenGL
OpenGLは、XcodeにあるOpenGL用プロジェクトテンプレート(*1)をビルドすればそのまま動作するので、ここで解説することはあまり無い。
iOSでのOpenGLの使用方法はアップルのサイトで詳しく解説しており、例えば検索キー"OpenGL ES Programming Guide for iOS"で検索すれば出てくる。(iOS関係の資料はころころ変わるので、URLで参照するより、検索キーで最新資料を探したほうが良いだろう)
また、iOSではOpenGLをじかに触るのではなく、GLKitというインターフェースを介して操作するので、そちらも見ておくと役に立つ。(検索キー"GLKit")

素のテンプレートを起動すると、画面では、2つの立方体が公転、自転する様子が見られるはずだ。

2.SkyBox Effect
全周画像を表示するエフェクトであり、前述のGLKitの機能の一部として用意されている。「全周」と言っても水平方向一周(パノラマ)だけでなく、真上も真下も見られる事が仮想現実(Virtual Reality)には必要であり、SkyBox Effectならばそれができる。
SkyBox Effecの組み込みには、テンプレートにあるソースファイルViewController.m内を下のように修正する。

ViewController.m

                
@interface ViewController () {
    GLuint _program;
   
    GLKMatrix4 _modelViewProjectionMatrix;
    GLKMatrix3 _normalMatrix;
    float _rotation;
   
    GLuint _vertexArray;
    GLuint _vertexBuffer;
    GLKSkyboxEffect *skyboxEffect;
}


                
- (void)setupGL
{
: (中略)
    glBindVertexArrayOES(0);

    skyboxEffect = [[GLKSkyboxEffect alloc] init];
    skyboxEffect.xSize = 60;
    skyboxEffect.ySize = 60;
    skyboxEffect.zSize = 60;
   
    NSDictionary *options = [NSDictionary dictionaryWithObject:
        [NSNumber numberWithBool:YES] forKey:GLKTextureLoaderGenerateMipmaps];
    // Cube Map画像のファイル名指定。
   NSString *rightTex = [[NSBundle mainBundle]
        pathForResource:@"right" ofType:@"jpg"];
    NSString *leftTex = [[NSBundle mainBundle]
        pathForResource:@"left" ofType:@"jpg"];
    NSString *topTex = [[NSBundle mainBundle]
        pathForResource:@"top" ofType:@"jpg"];
    NSString *bottomTex = [[NSBundle mainBundle]
        pathForResource:@"bottom" ofType:@"jpg"];
    NSString *frontTex = [[NSBundle mainBundle]
        pathForResource:@"front" ofType:@"jpg"];
    NSString *backTex = [[NSBundle mainBundle]
        pathForResource:@"back" ofType:@"jpg"];
    NSError *error;
    // ファイルをテクスチャとして読み込み
   GLKTextureInfo *texInfo = [GLKTextureLoader
        cubeMapWithContentsOfFiles:[NSArray arrayWithObjects:rightTex, leftTex,
        topTex, bottomTex, frontTex, backTex, nil] options:options error:&error];
   
    // テクスチャを接続
    skyboxEffect.textureCubeMap.name = texInfo.name;

}



                
- (void)update
{
: (中略)   
    _rotation += self.timeSinceLastUpdate * 0.5f;
    //  1フレーム描画ごとに呼び出される処理。
    // SkyBox用の投影用行列を設定。立方体の物を流用。
    skyboxEffect.transform.projectionMatrix = projectionMatrix;
    skyboxEffect.transform.modelviewMatrix = baseModelViewMatrix;

}


                
- (void)glkView:(GLKView *)view drawInRect:(CGRect)rect
{
    //glClearColor(0.65f, 0.65f, 0.65f, 1.0f);
    //glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT);
    // 1フレーム描画ごとに呼び出される処理。
    glClear(GL_DEPTH_BUFFER_BIT);
    [skyboxEffect prepareToDraw];
    [skyboxEffect draw];

: (後略)   
}

SkyBox EffectとGLKitのもっと詳しい解説は、検索キー"GLKSkyboxEffect"で調べると出てくる。

動作確認にはサンプルデータ(全周画像)が必要であるが、作成が難しく、入手もしにくいので、私が作ったものを利用すれば良いだろう。サンプルデータ(6つのjpegファイル)をプロジェクトに追加して(*2)ビルドする。
なお、サンプルの画像データは6つをまとめて1枚の縦長(または横長の)画像にして使う方法もあるが、自作データを試すときは画像を並べなおしたり裏返したり試行錯誤があるので、分かれていた方が便利だろう。
また、6枚の画像は正方形であればサイズに特に制限は無いが、縦、横を2^n(2の累乗)ピクセルにしておいた方がOpenGL的に都合が良いようだ。

起動すると、iPhoneの画面にはサンプルデータの風景と立方体が表示され、水平方向に自動的にパンしていく様子が見えるだろう。
次回は、iPhoneの向いている方向の風景を表示させるようにする。

*1 具体的手順は「iOSプログラミング>VRビューワー(1)」の「1.新規プロジェクトの作成」
*2 具体的手順は「iOSプログラミング>VRビューワー(1)」の「6.リソース(絵)の追加」

« iOSプログラミング>VRビューワー(2) | トップページ | オスプレイ、モロッコ事故の最終報告書にもの申す »

「パソコン・インターネット」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

トラックバック


この記事へのトラックバック一覧です: iOSプログラミング>VRビューワー(3):

« iOSプログラミング>VRビューワー(2) | トップページ | オスプレイ、モロッコ事故の最終報告書にもの申す »