A/B テストがモバイルゲームの最適化にどのように役立つか

A/B テストは、ゲームを改善するプロセスから当て推量をなくしてくれます。

ゲームでは、いつでも数え切れないほどの変数が各プレイヤーの体験に影響を与えます。この変動性はノックオン効果をもたらし、最適化は見た目以上に複雑な作業になります。

ゲームのあらゆる側面を改善したいのであれば、問題となっている側面を分離し、「改善」を効果的にテストする技術が必要です。厳密な A/B テストが特定の条件で、オーディエンス全体のサブセットに対して皆さんの仮説を裏付けることができれば、その施策をより大規模に展開することができます。

A/B テストでは、基本的に、同じ変数の異なるバージョンを比較して、その変数への変更の影響を判断します。テストされる変数を除いて、条件が可能な限り同一に近い状態で並行テストを実行するという考え方です。

コントロールグループはシステムの「デフォルト」の振る舞いを体験し続け、処置グループは新しい振る舞いを目にします。そして、両方のグループが示した結果を比較し、選択した変数を変更した場合の影響を判断することができます。

この方法で変更をテストすることが重要であることにはいくつかの理由があります。

• 母集団のごく一部で変更をテストすることで、変更を展開することによるマイナスの影響を最小限に抑えられる。
• 直感に頼るのではなく、提案した変更の効果を統計的に証明できる。
• テストを実行する前に「有意な」変化を構成するものを決めることで、客観的な評価ができる。

テストは反復的なプロセスです。下の図は、A/B テストをステップごとに分解したものです。

A/B テストを成功させるために押さえておくべき要素がいくつかあります。以下のルールを守れば、間違いはありません。

A/Bテストを成功させる鍵は、忍耐と規律です。有意な結果が現れたからといって、早々にテストを終了すると、最良の結果は得られません。すべてのテストが実行されるまで待ちましょう。

一度に 1 つのものだけを変えるテストからのみ、信頼できる結論を導き出すことができます。複数の変数を作用させると、途端にそれらの変数が個別に与える影響を正確に評価することができなくなります。繰り返しになりますが、一度に変えていいのは 1 つだけです。それ以上変えると、何も得られなくなります。

コントロールグループと処置グループは、同じオーディエンスで構成されていなければなりません。そうでないテストに意味はありません。地理的位置、人口統計学的な属性、プレイスタイルなどは、プレイヤーのプロファイルを区別するのに使えるため、セグメンテーションに役立つマーカーとなります。変更の真の影響を知りたい場合は、同一の被験者でテストする必要があります。

Unity は deltaDNA プラットフォーム内で A/B テスト機能の提供をすでに行なっています。これはゲームの難易度からアプリ内課金（IAP）のオファー価格まで、すべてを最適化する上で欠かせない機能です。クロスプラットフォーム性と豊富なデータ機能を備えたこのエンドツーエンドのソリューションにより、パブリッシャーや開発者は、さまざまなプレイヤーの行動をよりよく理解し、リアルタイムで個別のプレイヤーをターゲットに、パーソナライズされた体験を作り出すことができます。deltaDNA の 30 日間の無料トライアルを利用して、自動化された A/B テストが皆様のゲームにどのような効果をもたらすかをご覧ください。