JMRAインターネット調査品質委員
リサーチ・コンサルタント
岸田 典子
インターネット調査が始まって20年を超え、調査業界では最もメジャーな手法として定着した感があります。その一方で、日本のインターネット調査業界には、独特の需要があり、海外のインターネット調査とは異なるガラパゴス的様相も示しています。ＪＭＲＡインターネット調査品質委員会では、インターネット調査をめぐるリサーチャーの悩み、将来に向けてこのままではいけないのではないかと思っていることを本音で話し合っています。
今回は、今、リサーチャーが感じるインターネット調査の悩みについて、その一部をご紹介します。
- インターネット調査のガラパゴス化
- 安くて速い調査を求めた弊害
- データリテラシーの問題
1.インターネット調査のガラパゴス化
リサーチャーによる調査票作成やロジック設計の重要性、プリテストを行う価値が認められなくなってきたのではないだろうか。スピード、コストが重視されるあまり、リサーチャーがクライアントの前で自由に提案できないという関係性になっていないだろうか。意味のない調査設計について、クライアントにもリサーチャーにもっと知ってもらうことが必要ではないだろうか。
リサーチャーが感じるインターネット調査の悩みは、データの価値を保つ方法やその重要性についてクライアントとのコミュニケーションが足りないことが原因かもしれない。
- (1)プリテストをしない
定点調査であってもプリテストをしておらず、調査票の検討が不十分なケースが見られる。クライアントもリサーチャーも時間がなく急いでいる。調査票の検討を軽く考えると、後々の影響が大きい。
海外の調査では、重要な調査についてはオンライングループインタビューでプリテストをさせるケースもあるが、日本ではそういう事例はほとんど聞いたことがない。ソフトローンチという開始直後に少しだけ回収して、狙い通りに回収できているかを確認する習慣は、海外調査であたりまえに行われるプロセスだが、日本では行われていない。
- (2)定点調査の調査票の修正
定点調査で変な質問や不要な項目があっても、前回と変更することによって数値が変動することを怖れ、リサーチャーが修正を提案できないでいるケースがある。もし調査票の修正の提案をして、データの傾向が変わったらその責任を問われるのではないか、あるいはもしその変更のための検証調査をすることになれば、その費用負担を求められるのではないかという恐れを感じている。修正を提案することがリサーチャー（調査会社）の損になると考えるのは、クライアントとの関係性に問題があるといえるだろう。
- (3)数千もの割付セルを作る無駄
47都道府県別に、性別×年齢の割付を入れると、あっという間に数千もの割付セルができあがる。割付セルがあるとその属性の回収数が集まるまで調査を終了できず、該当条件のモニターを探し続けることになり、実施上のコストと時間の負担が大きい。
それだけではなく、対象の条件の人を抽出しても、すでに回収ずみの割付セルを回収すると捨てることになり、抽出誤差が大きくなる。（多くをとりすぎて捨ててしまうことによって誤差が大きくなり、ウエイトバックすると全体がゆがんでしまう。）
割付セルが多いと捨てるサンプルも増える。偏らないように細かく割付をしたことが、逆に偏りを大きくすることになる。
- (4)トラップ質問の無意味さ
対象者が真面目に回答しているかをチェックする目的でさまざまなトラップ質問を入れようとする。真面目に回答している人も間違うことがあるし、モニターからトラップであることを完全に見透かされていることが多い。モニターからはトラップ質問に対して、回答者を馬鹿にしているとの苦情が戻ってくる。「あまりに腹が立ったので、逆に答えてやった」というコメントが戻ってくる場合まである。
調査票の作成者は、回答者が一人の人間であり、協力に感謝する基本姿勢が必要ではないだろうか。
2．安くて速い調査を求めた弊害
インターネット調査品質ガイドラインでは、モニターを疲弊させないよう調査の回答負荷に見合った謝礼を払うこと、モバイル回答者が増えたことを踏まえて10分程度に収まる調査を推奨している。
このガイドラインを無視して続けられているモニター負荷の高い調査のパターンがいくつかある。
調査の品質、信頼できるデータのために何ができるのかという会話が、リサーチャーとクライアントとの間でできているだろうか。
- (1)スクリーニング調査で、本調査で質問すべき内容をする
本来、対象者条件に合った対象者を抽出することを目的として、非常に安価な謝礼で大量のサンプルに行うスクリーニング調査で、負荷の高い調査票を行われることがある。
このタイプの調査は、海外調査では受け入れられないところが多く、日本特有のサービスになっているが、海外のパネル会社から日本のこのサービスに対してなんとかしてほしいとの要望がくるほどになっている。
- (2)異様に長い質問文
質問文がA4サイズ1枚近い長文になるケースなど、選択肢は簡単でも回答は容易ではないケースがある。スマートフォン回答者が多くなった今、リサーチャーもクライアントも、協力するモニターの身になって考えたほうがよいだろう。
- (3)早い者勝ち回収の問題
先着順に回答者を選ぶことによって、早く回答する属性が集まることをもっと意識したほうがよいだろう。いろいろな属性タイプの人がいることが質のよい調査に繋がる。いつもスピード最優先になっていないだろうか。
3．データリテラシーの問題
クライアントに納品後、クライアント内のリサーチ担当者の手を離れて、データが独り歩きする怖さも指摘されている。クライアント内で担当者が変わっても、データの扱いを理解したリサーチャーが入ることにより、定点調査が信頼できるデータとして継続できることもある。その情報のもつ意味をわからずデータが使われることがないよう、リサーチャーが役割を果たせるようでありたい。
＜問題点の例＞
- ブースター回収（特定の条件の属性をよく見たいために、多く回収する）をしているのに、ウエイトバックせずに単純合算した全体値で語る。
- 性別年代別を均等割り付けした合計で、全体を語る
- 何を母数にしているのかよく考えないでデータを使う。
（例 母数をロイヤルユーザーに絞って、認知率を見ている。）
これらの問題は、リサーチャーとクライアントのコミュニケーションのあり方に問題の根があるのではないだろうか。私たちにできることを今一度考えてみることが必要だ。
2021.10.14掲載