この記事はJeff Sauro著「The 3 R’s of Measuring Design Comprehension」の抄訳です。
This article is a translation of "The 3 R’s of Measuring Design Comprehension" By Jeff Sauro.
「それ、ユーザーに伝わりますか？」
マーケティングやデザインチームの人間は、ユーザーがWebサイトやデザインのキーコンセプトを理解できるかといったことを常に気にしています。新しい用語、使用条件、プライバシーポリシー、製品ごとに異なるモデル、値段、そしてサービスパッケージといったもの全てを、ユーザーは本当に理解できているのでしょうか？
ユーザーが何を理解できたのかを知りたいと思った時、まず「このサービスプランの違いについて、理解できましたか？」などと質問するような人はいないでしょう。実際に、何かを「理解していない」とユーザーが認めることはほとんど無いため、商品やデザインに関する知識を評価するような質問を使って、ユーザーの理解度を測る必要があります。
そのために、今回はユーザビリティテストで使われる3つの能力を測るテクニック、「認識力(Recognition)」、「記憶力(Recall)」、「表現力(Recounting)」を紹介します。
認識力：Recognition
認識力は、あるものを他のものと区別する能力です。測り方は、複数の選択肢から正解を選ばせる方法が一般的です。もしユーザーが正解を選択することができれば、最低でも表面的なレベルでは理解されていると考えられます。
例えば、もしユーザーが新しい返品ポリシーを理解しているかを確認したい場合、製品ページをもう一度見るよう促した上で、ユーザーに次のような質問をしてみましょう。
「次の選択肢の中で、新しい返品ポリシーに一番近いものはどれでしょう？」
- 返品できない
- 購入後90日経った後であればいつでも返品可能
- いつでも返品できる
- 購入後30日以内であれば返品可能
もしユーザーが正解を選べば、そのユーザーは一定のレベルでポリシーを理解できていると考えられます。ここではユーザーが真面目に質問に取り組んだのか、適当に回答を選んだのかはわかりません。1つの正解と3つの不正解が用意された場合、適当に選んでも25%の確立で正解が選ばれることになるからです。これは質問を複数用意することで防ぐことはできます。3つの質問に対して適当に回答した場合、3つ全てで正解する確立は25%の3乗、約2%にしかなりません。しかし、この方法はあまり一般的ではありません。
Unmoderated usability testingでは、タスク達成率を測るために、選択肢を使った確認テストを行います。質問は通常、ユーザビリティテスト参加者に検索するよう指示した製品の価格や概要について出題されます。典型的な確認テストは4つの選択肢から正解を1つ選ばせるもののため、一番低いタスク達成率は通常0%ではなく25%に近い数字となります。
選択肢を使った質問を複数用意することで、まぐれの正解が結果に入り込むのを防ぐことはできますが、そのような方法はあまり一般的ではありません。ユーザーリサーチの世界では、代わりに別のアプローチを使います。
記憶力：Recall
記憶力は、ヒント等が与えられない状況で、記憶のみから正しい解答を導き出せる能力です。これは通常、自由回答形式の質問を使って測られます。
自由回答形式で新しい返品ポリシーやある製品の新機能を質問することで、認識力より深いレベルでのユーザーの理解度を測ることができます。返品ポリシーをについて質問するときの問題文は次のようになるでしょう。
「その製品の返品ポリシーは何でしょう？」
この質問にまぐれで正解することはありえませんが、自由回答形式の質問では回答に曖昧な表現が含まれたり、答え合わせに時間がかかるというデメリットがあります。
表現力：Recounting
マーケティングやデザインに関わる人間にとって、ユーザーが製品やサービスのある特徴を理解したかという点に加え、どのような機能や記述が一番ユーザーの記憶に残ったか、を知ることも重要です。
このテクニックでは、ユーザーが何を理解したのかを質問するのではなく、ユーザーが見たものを友人や同僚に伝える時にどう説明するか、という質問をします。例えば、「新しい返品ポリシーを、そのショップで買い物をしようとしている友人に説明するとしたら、どのように言いますか？」という形で質問されます。ユーザーに自分の言葉で説明させることにより、ユーザーが本当に理解していることだけが回答に含まれることになります。
このアプローチは深いレベルでの理解度を測るのに役立つだけでなく、どの点がユーザーの記憶に残ったのかを評価することができます。言葉通りの回答を分析することで、どのような言葉がそのブランドに対して使われたかを知る手掛かりにもなるでしょう。
ユーザーがコンセプトや機能を理解できたかどうかは、1つの質問で知ることはできません。選択肢を使った質問、自由回答形式の質問、そして友人にどう説明するかといった質問を組み合わせて使うことで、ユーザーが何を理解し、何を理解していないのかを、バランスの取れた視点で把握することができます。ソフトウェアのコンセプトや価格体系、製品モデルやサービスプランといったものの理解度を測るアプローチとして役に立つでしょう。
