こんにちは！ 前回Snapchatをテーマにしたブログで、お茶の間を賑わせたkeiです。
とうとう梅雨に突入しましたね〜。ジメジメした曇り空に、しとしと降る雨…あぁもう何かうちのサービスもいまいちパッとしないわ…ハワイ行きたい…と、お悩みのあなた！ グロースハック見習いの私が、あなたのサービスをちょこっと改善させる技をご紹介します！
今回はグロースハックの要、誰もが知っている「A/Bテスト」について。あなたも間違ったA/Bテストを続けている可能性があるかも…！
今さら人には聞けない…
「A/Bテスト」ってぶっちゃけどういうこと？
インターネットサービスの会社では、よく聞くこの「A/Bテスト」というワード。簡単にいえば、ウェブやメルマガ、バナー広告などにおいて、SEOだったり、ランディングページの最適化を図るため、どちらがより良い結果をもたらすことができるのか、A・B二つのパターンを用意して結果を見極めるテストのこと。
このA/Bテストによるサービスの改善を繰り返すことで、バナーのCTRを上げる、離脱率を下げる、など部分的な改善を積み重ねていき、最終的には、コンバージョン率の向上、売り上げ増加へ繋げることで、Webプロモーションの費用対効果を高めます。
そう、これってまさに「グロースハック」なんです。
「A/Bテスト」の恐ろしさを、あなたはきちんと知っていますか？
慎重に結果を分析し、厳格なプロセスを構築して、様々な仮説を定式化データに落とし込み、統計を理解しようとする…。私たちはサービスを向上させたいその一心で、完璧なA/Bテストを行おうと努力していますよね。が、全ての過程を正しく行ったとしても、ほんの少しの要因で、それが台無しになってしまうことがあるんです….。しかも一瞬で。まさに一寸先は闇。全て教科書通りにいくわけではないということですね。
A/Bテストにおいて“やってはいけない”7つのことをご紹介します。
あなたは、こんなことをしていませんか？
① 分析ツールに全てのデータ結果を反映させていない
② 一つの結果が全てを表していると思い込む
③ 一度にたくさんのテストをする
④ フリッカーエフェクトについての知識がない
⑤ 長期間テストしている
⑥ ニュースや天気などの外的要因を意識していない
⑦ ブラウザやデバイスの互換性をチェックしていない
一つでも思い当たる節があったら即改善が必要です！
さっそくチェックしていきましょう。
【1,分析ツールに全てのデータ結果を反映させていない】
A/Bテストは、いくつかのアクセス解析ツールと連携することで、さらに強力に分析することができます。一つのツールの結果だけで判断しようとするのは危険です。代表的な連携ツールは以下のようなもの。
・Google Analytics
・Adobe Analytics
・Clicktale
このようなツールと連携することで、テスト結果をセグメント別に分析したり、A/Bテストの結果をマップで分析し、行動の変化を読み取ることが可能になるんです。（アクセスのカウント方法やタイミングなどは、各ツールによって異なるので、その点は要注意。）
それぞれのKPIを図るには、最低でも二つ以上の計測結果をみる必要があるということですね！
【2,一つの結果が全てを表していると思い込む】
常に新しい人で入れ替わるため、普遍的なコンバージョン結果なんて存在しません。よって、一つのA/Bテストで得たトラフィック結果は、全く異なるユーザーでテストする必要があります。そこで得た“誤差”こそがA/Bテストで得られる真の価値ということ。
忘れてはいけないことがもう一つ。あなたのサービスの競合相手が行っているキャンペーンなどが、トラフィックに影響を与えている可能性が高いということ。
結果を鵜呑みにせず、何かの影響を受けていないかどうか細心の注意を払い、あくまでも“仮設の一つ”として捉えることがポイントです。
【3,一度にたくさんのテストをする】
データを集めて測定し、分析、学ぶというプロセスには当然のことながら、時間がかかります。かといって一度にいくつかのテストを走らせてしまうと、それらがお互いに影響を与え、結果、どの要素がどのデータに影響を及ぼしているか判断できず、トラフィック分布をめちゃくちゃにしてしまう可能性があります。
もちろん同時にいくつかのテストを走らせることは可能ですが、どれだけトラフィックが影響を受けているかということを常にウォッチしていることが重要です。
【4,フラッシングについての知識がない】
“フラッシング（フリッカーエフェクト）”という現象を皆さんはご存知ですか？（私は初耳でした！）
JavaScriptエンジンが、ページをローディングしている間、作成したテストページが表示される前に、元ページが一瞬（0秒未満）ちらついて表示されてしまうことです。
分かりやすく、新作コスメ販売のLPで例えてみましょう。
A→コスメのグラフィックを全面に押し出したページ
B→コスメの効果に関する詳細なテキスト情報を盛り込み、グラフィックを弱めたページ
というA/Bテストを実行したとします。
ここでフラッシングが起きると、まず一度 Aのグラフィック全面パターンをユーザーに見せ、その後 Bの詳細テキストパターンを表示します。
この時点でユーザーは「あれ？今何か切り替わった気がするけれど何だろう？」と不審に思います。このようなフラッシングによるページのちらつきは、ユーザーの心理・行動に影響してしまう可能性があります。
上記のテストで「詳細な情報のあるBパターンの方がCVが高い（もしくは低い）」という結果が出たとしても、フラッシングがあったことにより結果の信憑性を下げてしまいます。
手動で行うことも不可能ではありませんが、より正確にテストするならば、下記のような自動ツールを利用するのも手かもしれませんね。
・ Optimizely
・ planBCD
・ Qualaroo
・ ClickTale
・ Kissmetrics
・ DLPO
（フラッシングについて詳細を知りたいという方はこちら）
【5,長期間テストしている】
A/Bテストにおいて忘れてはいけないのが、クッキーについて。（チョコチップクッキーのことを思い浮かべた人は、残念ながら私と同じレベルの人間です）
クッキーとは、あなたが訪問したウェブサイトにより送られたユーザー属性などの情報のことです。この情報はあなたのブラウザに溜まっていきます。が、ポイントはこのクッキーには“有効期間”があるということ。
たとえば、ブラウザでデフォルトに設定された有効期間のクッキー情報と共に、30日以上A/Bテストを走らせたとします。クッキーで判別した1人のユーザーに、何度もそのA/Bテストをさらすことになり、クッキー情報の期限が切れた時、そのユーザーがすでにA/Bテストを体験済みか否か判別つかなくなるわけです。よって得られたデータのクオリティは悪くなってしまうのです。
もし、長期でテスト期間を設けるのであれば、“クッキーの有効期間”についてきちんと考慮してくださいね。
【6,ニュースや天気などの外的要因を意識していない】
大雨の日と、晴天の日。
忙しく仕事をしている平日と、ゆったり時間に余裕がある休日。
事件があった日と、穏やかで平和な日。
それぞれのユーザーの心理やそれによる行動は、こうしたことで大幅に変わってきます。
ところが、A/Bテストで得られた統計は、あくまでも絶対的な「数字」を見ているだけに過ぎず、上記のような外的要因は加味していません。
このgifのように「真っ赤な太陽が出たら、コンバージョン率があがる」なんてことも大いにありえるのです。そのため、良くも悪くも得られた結果に異常値が出ていたときに、どのような要因が影響したのかをすぐに理解できるよう、様々なニュースに関心を向けていることが必要です。
【7,ブラウザやデバイスの互換性をチェックしていない】
一つの機器のみでテストするなんてナンセンス！ インターネットユーザーの80%はスマホから様々な情報を入手しています。それなのにブラウザだけでテストして、ブラウザのみの最適化を行っていたら？ 結果は明白ですよね。常に全てのブラウザと機器でテストすることで、よりよい改善結果が得られるはずです。
海外のCVR改善事例まとめ3選
ここで実際にどのようなA/BテストでCVRが改善されたのかを、海外の事例からみてみましょう。
① グローバルナビゲーションの削除とフォームの変形でCVR336％
How A Single A/B Test Increased Conversions by 336% [Case Study]
フォームをページ内に配置する際には、しっかりとファーストビューに収めるとCVRが向上！
② フォームを垂直に配置してCVR52％向上
A/B test case study – Arenaturist booking engine layout
フォームを画像下部に水平に配置するよりも、画像にかぶせるように配置することでCVRが向上！
③ 「Twitter」というテキストリンクを「here」というテキストリンクにすることで、クリック数が75.2％向上
Top 7 A/B Testing Case Studies: Inspirational Real-life Examples & Data – Anne Holland
安易に飛び先のページ名をリンクにするよりも、○○(サイト名など)は「こちら」という部分をリンクにすることでクリック率が向上！
最後に…
非常に基本的な内容だったかもしれませんが、サービス運営において意思決定する前に、まずはトライしておきたい重要なことですよね。何をすることが良くないのか、何が失敗につながるのか。そのポイントを適切につかむことも非常に重要なポイントです。日々のタスクに追われていると、つい目の前のことを黙々と片付けるだけになりがちですが、常にアンテナを張り、テストを繰り返すフローを業務に入れることが重要です。
そして、得られたテスト結果をもとに、よりブラッシュアップを繰り返し、クリエイティブの精度を高めていくことで、イケているサービスに成長していくのです。私もスマートかつ理論的に話ができるように、これからもA/Bテストを含むデータ活用について勉強していきたいと思います！
あなたもこれを機に、A/Bテストで今一度サービスを見直してみませんか？
（参照元：Warning! Is the world sabotaging your A/B Tests?）
*********************************************************************************************************
進化し続けるVASILYで、私たちと一緒にファッションとITの新しい未来へ挑戦してみませんか？
VASILYでは、中途・2017年新卒者を積極採用中！みなさんの応募をお待ちしております。
詳しくはVASILY 募集一覧ページ(Wantedly)をチェック！
*********************************************************************************************************