前月と比べても、施策の効果は分からない
施策の前後で1か月ずつを比べる方法は、最も広く使われています。ところが、比べる2つの期間では、施策以外の条件がそろっていません。
1か月違えば、次のものが変わっています。
- 季節(気温、行事、給料日からの日数)
- 営業日数と土日の数
- セールの有無
- 競合の価格と在庫
- 自社の在庫と売価
施策以外に変わっているものが多すぎるため、差が出ても施策の効果とは言えません。
それでも前月比を使うなら、上の5つが前月と大きく変わっていないことを確かめてからにしましょう。確かめずに使うと、季節による売上の動きを、施策の成果として報告することになります。
報告を受ける広告主の側も、比べ方に違和感を持っています。当社は2026年8月、広告代理店への発注・委託に関わった経験のある1,098人に、広告全般の発注について調査しました(ノウンズ株式会社調べ)。代理店のレポートの数字が自社の実感とずれていると感じた経験がある人は78.0%でした。
ずれが「全くない」と答えた人を除く1,059人に内容を聞くと(複数回答)、「施策と成果の因果関係の説明が不十分だと感じる」が30.3%、「都合の良いKPIや単月データなどが抜粋・強調されている」が24.6%、「集計期間や対象比較の切り取り方に違和感を感じる」が22.7%でした。
上位の3つは、どれも比べ方に関わる不満です。比べ方の良し悪しを知っておくと、報告を受ける側でも、その比較が妥当かを判断できます。
比べ方の信頼度は4段階ある
比べ方には質の違いがあり、表の上ほど信頼でき、下ほど誤りやすくなります。
| 質 | 比べ方 | 成立する条件 |
| 高い | 同じ期間に、対象を分けて比べる | 対象を分けられる施策であること |
| 中 | 施策を実行した商品と、していない商品を同時に比べる | 2つの商品が似た動きをしていたこと |
| 低い | 前年の同じ時期と比べる | 商品構成と競合が大きく変わっていないこと |
| 最も低い | 前月と比べる | ほぼ成立しない |
実務で最も使いやすいのは、表の2行目の方法です。施策を全商品に一斉に広げず、一部の商品にとどめて、残りの商品と比べます。
全商品に同時に広げると、比べる相手がいなくなります。効果を測りたいなら、あえて一部の商品を残しておきましょう。
商品ページの改善を比べる場合は、ブランド登録をしていれば、Amazonの「比較テストの管理」も使えます。商品情報のコンテンツをテストして、クリック数、カート追加数、売上を増やすための機能です。
参考:Amazon出品サービス「Amazon Brand Registry」
比べる相手は、増減の形が似ている商品を選ぶ
施策を実行した商品と、していない商品を比べる場合は、相手の選び方で結果が変わります。条件は次の3つです。
- 施策前の動きが似ている:売上の水準ではなく、増減の形が似ていること
- 同じカテゴリーにある:季節や競合の影響を同じように受けること
- 期間中に在庫や売価が変わっていない:比べる相手の側で、別の変化が起きていないこと
最も大事なのは1つ目です。売上の規模が違っても構いません。増えるときに同時に増え、減るときに同時に減っていた商品なら、比べる相手として使えます。
比べる期間は、施策の種類で変わる
比べる期間の長さは、施策の種類によって変わります。効果が表れるまでの時間と、見る指標の目安は次のとおりです。
| 施策の種類 | 効果が表れるまで | 見るべき指標 |
| 入札や掲載枠の調整 | 短い | 表示回数、クリック数、獲得単価 |
| キーワードの追加や除外 | 短い | 該当語句の表示回数と成果 |
| 商品ページの改善 | 中程度 | 購入率 |
| 新しいメニューの追加 | 長い | ブランド新規顧客、自社指名の検索数 |
| 認知を目的とした配信 | 最も長い | 広告を経由しない売上、自社指名の検索数の推移 |
表の下の2行の施策は、短い期間で判断しないでください。接触した日と購入した日が離れるため、短く区切ると、効果がないという結論になります。
期間は、施策を始める前に決めておきます。あとから決めると、都合のよい区切りを選ぶことになります。
比べてはいけない4つの組み合わせ
次の4つの比べ方は、条件が違いすぎるため成立しません。
- セール期間と通常期間:購入率も競合の動きもまったく違う
- 在庫があった期間と、欠品していた期間:配信量が違う
- 新商品と既存商品:レビュー数も検索順位も違う
- 異なる広告メニューどうしの売上効率:購入までの距離が違い、遠いほうが不利になる
4つ目は、日常的に起きている誤りです。スポンサープロダクト広告とスポンサーブランド広告のACOSを並べると、購入までの距離が遠いスポンサーブランド広告のほうが悪く見えます。メニューどうしを比べるなら、それぞれの役割に合った指標を使いましょう。
結論を出す前に確かめること
数字が動いたときも、動かなかったときも、すぐには結論を出さないでください。確かめることは、それぞれ違います。
数字が動いたら、理由を1つに決めない
効果検証で最も危険なのは、変化の理由を1つに決めつけることです。施策を打った時期に、競合が値上げしていたり、カテゴリー全体の需要が伸びていたりしたかもしれません。これらを確かめずに施策の効果だと結論づけると、次に同じ施策を打っても、同じ結果は出ません。
確かめるのは、次の3つです。
- 自社のほかの商品も、同じように動いていないか(動いていれば、施策以外の要因)
- 競合の価格や在庫に、変化がなかったか
- 期間中に、自社の売価や在庫が変わっていないか
3つとも当てはまらない場合に限り、施策の効果と判断します。
数字が動かなかったら、まだ判断しない
数字が動かなかった場合も、次のどれかに当てはまるなら、まだ判断できません。
- 配信量が足りていない:クリックが数件では、成果が出ていないのか、まだ出ていないだけなのかを区別できない
- 期間が短い:効果が表れるまでの時間は、施策の種類ごとに違う
- ほかの要因が打ち消している:施策の効果はあったが、競合の値下げで相殺された可能性がある
3つ目は見落とされやすい点です。数字が横ばいでも、何もしなければ落ちていた可能性があります。この場合、施策には効果があったことになります。
代理店の報告の比べ方が妥当かを、bysecondで確かめる
効果検証の設計は、施策を実行した本人には評価しにくいものです。運用を外部に任せている場合は、報告書に載っている比較が妥当かどうかを判断する材料が要ります。
バイタイムでは、広告代理店への違和感を言語化する無料診断「bysecond(バイセカンド)」を公開しています。日々のやり取りについて6つの観点、提案の中身について8つの観点で回答すると、違和感がどこにあるかをスコアでお出しします。次の打ち合わせで相手に返すべき質問も、リストで出力します。所要時間は4分程度です。
出てくる質問は、検証の前提を確認するときにそのまま使えます。
詳細はこちら
よくある質問
Q. 前月と比べる方法は、使ってはいけませんか。
ほとんどの場合、施策の効果を測る方法としては成立しません。季節、営業日数、セールの有無、競合の動き、自社の在庫や売価が変わっているためです。使うなら、これらが前月と大きく変わっていないことを確かめてからにしてください。
Q. 最も信頼できる比べ方は何ですか。
同じ期間に、対象を分けて比べる方法です。対象を分けられない場合は、施策を一部の商品にとどめ、施策をしていない商品と同時に比べます。
Q. 比べる商品は、売上の規模が近いものを選ぶべきですか。
規模が違っても構いません。大事なのは、施策前の増減の形が似ていることです。あわせて、同じカテゴリーにあることと、期間中に在庫や売価が変わっていないことを確かめます。
Q. 効果を判定する期間は、どのくらい取りますか。
施策の種類によって変わります。入札や掲載枠の調整は短い期間で判断できますが、新しいメニューの追加や認知を目的とした配信は、接触した日と購入した日が離れるため長く取ります。
Q. 数字が動かなければ、効果がなかったということですか。
まだ判断できません。配信量が足りていない、期間が短い、ほかの要因が打ち消している、のどれかに当てはまる可能性があります。何もしなければ落ちていた場合は、横ばいでも施策に効果があったことになります。
まとめ
- 前月比は、施策以外に変わっているものが多すぎるため、ほとんどの場合成立しません。
- 信頼できるのは、同じ期間に対象を分けて比べる方法です。難しければ、施策を一部の商品にとどめ、残りの商品と同時に比べます。
- 比べる相手は、施策前の増減の形が似ている商品を選びます。期間は施策の種類で決め、始める前に決めておきます。
- 数字が動いても動かなくても、競合や自社のほかの変化を確かめてから結論を出します。
数字が落ちたときの切り分けは、後日公開予定の「Amazonで売上が下がった原因は?」という記事で扱います。メニューごとの評価の指標は、後日公開予定の「Amazonスポンサーブランド広告は、売ろうとすると成果が出ない」という記事で扱います。
執筆・監修 株式会社バイタイム