Image Cloud Recognition WeChat Mini Program 開発者ガイド

本章では主に、EasyAR Cloud Recognition と WeChat Mini Program を組み合わせる際の一般的な機能と実装方法を紹介します。

機能と使用方法

WeChat Mini Program XR-FRAME は、WeChat 公式の XR/3D アプリケーション開発ソリューションです。hybrid rendering 技術により native に近い性能を実現し、視覚効果と開発のしやすさを兼ね備え、AR アプリケーションをすばやく構築できます。この framework は image tracking、3D モデル読み込み、アニメーション制御、動画再生、パーティクル効果などの主要機能をサポートします。開発モデルは主に WXML テンプレートプログラミングで、少量のロジックコードだけで高品質な視覚効果を実現できます。

EasyAR Cloud Recognition、CRS、は大規模画像ライブラリでの画像検索シナリオに特化したサービスです。cloud アルゴリズムにより効率的な target 認識を実現し、コストパフォーマンスが高く導入しやすいため、開発者はすばやく統合して機能開発を完了できます。

データフロー

flowchart TB

B[API または EasyAR Web] --> A[クラウド認識 CRS] <-->  D[デバイス側 WeChat Mini Program]

C[仮想コンテンツ] <-->  D[デバイス側 WeChat Mini Program]

XR-FRAME と Cloud Recognition を組み合わせると、ローカルデバイスは target 数に制限されなくなり、非常に大規模な範囲を必要とするアプリケーションに対応できます。

実装フロー

1. cloud recognition サービス呼び出し

   • EasyAR Cloud Recognition、CRS、API を通じて image recognition リクエストを送信
   • recognition 結果を処理（認識成功/失敗、Meta 処理など）

2. tracking image 設定

   • recognition 結果内の trackingImage に基づき、xr-ar-tracker を動的に設定

3. virtual asset 読み込み

   • Meta データ内の asset 識別子を解析
   • xr-asset を使用して 3D モデルや動画などの virtual asset をダウンロード
   • virtual asset を scene に追加し、スケールや初期位置などの asset プロパティを設定

4. AR コンテンツ表示

   • virtual asset を認識 marker に空間的にバインド
   • 仮想と現実を融合するレンダリング効果を実現
   • タップ、ドラッグなどのユーザーインタラクションイベントを処理

一般的な機能

cloud recognition が結果を取得した後、WeChat Mini Program でよく使われる AR 機能は次のとおりです。

• recognition のみを行い、recognition 結果を表示
• recognition のみを行い、認識 target に関連する動画、アニメーション、モデル、スクリプトを表示
• recognition + tracking により動画、アニメーション、モデル、スクリプトを重ね合わせる

関連トピック

• WeChat Mini Program 開発ガイド
• WeChat XR-FRAME