機能停止版アプリに、利用者の意識・行動等を問う調査を実装するか否か

[daisuke-nogami]

その機能リクエストは何らかの問題に関連しますか / Is your feature request related to a problem?

関連Issue: #1138 #1132

COCOAに関するの振り返り・総括を行うためには、COCOAの運用について、結果・成果等を把握する必要があり、具体的な調査項目としては以下が考えられる。

-	Process	Output	Outcome
意味	政策の進め方/過程	直接生み出される結果	社会に対する成果/効果
指標/測定内容	アプリ品質（ご意見・改善案、利用を止めた理由）、開発プロセス（Github活用も含む）	ダウンロード数、陽性登録件数、稼働台数（推計）、 通知発生回数など	注意喚起効果（通知カバー率、行動変容率、喚起した行動の内容）、利用者のメリット

上記のうち、Outputの「通知発生回数」の収集手段として #1138 のIssueを起票したが、それ以外の項目についても収集の手段として、機能停止版アプリにアンケートを実装することが考えられる。

解決策についてお書きください / Describe the solution you'd like

以下のとおり、機能停止版アプリを利用しないことを提案する。

• 利用者に対して、属性・意識・行動等を聞くアンケートは、調査会社を利用したパネル調査を行う
  • 前向きな結果も得られることが想定されるため、その信頼性・納得感を高めるには、回答者に偏りがないことを示す必要がある
  • 機能停止版のアプリでは、機能停止前にアンインストールした利用者の意見が収集できない
• 利用者や開発者などからのご意見・提案などの収集は、アプリ以外の方法で収集する（PC等でも入力できる形式）
  • 非常に具体的な内容となるため、選択肢ではなく自由記述で収集することが望ましい
  • 機能停止版のアプリ内に限定すると、長文などを記載しにくくなり、自由記述で収集する意味が薄れる
  • 機能停止版のアプリ内にフォームを設けると、設け方によっては 機能停止版アプリへの、接触通知の発生状況に関する利用者調査の実装をすべきか #1138 の回収率を押し下げてしまう

あなたが考える代替案についてご説明ください / Describe alternatives you've considered

• 機能停止版アプリにアンケート・ご意見フォームを実装する

その他 / Additional context

[keiji]

アプリ外でのアンケートについて

アプリ以外のアンケート方法について、まずWebフォームでのアンケートを想像してみましたが、シンプルなWebアンケートだと、技術的には多重投稿をどうやって防止するのかと言う課題がありますね。
Googleフォームなどではアカウントで１回だけ投稿に絞れますが、Googleアカウントを持っていない人は回答できなくなります。

またアンケートを誰が見るのか。自由記述があると個人情報が記載されることもあるでしょうから、プライバシーポリシーの整備など考えることが多そうです。

調査会社のパネル調査を使えば、それらの課題は概ねクリアできそうですね。
一方で、無料で調査というわけにはいかないでしょうから慎重な検討が必要があると考えます。

アンケートの内容について

アンケートの内容についてですが、アプリ品質と開発プロセス（GitHubとか言い出すと、パネル調査でもかなり対象が絞られてしまうと思いますが）がありますが、もう少し広範に「行政としての仕組み」の観点を入れるのが良いと思います。

「アプリで通知を受けた・受けていない」から始まり、
通知を受けて相談をしたか
「医療機関に相談した」「保健所に相談した」「相談できなかった」「相談しなかった」
相談の結果、検査をしたか
「公費負担で検査した」「自費で検査した」「検査しなかった」
通知を受けて行動に変化があったか
「予定をキャンセルした」「体調の変化に気をつけて行動した」「特に何もしなかった」

質問項目は調整の必要があると考えますが、通知を受けて「検査を受けられた」か「検査を受けられなかった」は、アプリの期待値に対する重要な指標なので、総括においてはその点も示すのが良いと考えます。

[daisuke-nogami]

内容についての提案ありがとうございます。いただいた案は、

注意喚起効果（通知カバー率、行動変容率、喚起した行動の内容）

側で考えていた設問を、行動の内容をステップを踏んで丁寧に把握する提案として取り込もうと思います。
特に、検査に関する点は、少し考慮が薄かったので確実に反映させるようにします！

[daisuke-nogami]

こちら（接触通知回数以外の話）は、行政側で予算を確保して調査会社パネルを利用（本調査20問1000サンプル＋スクリーニング調査あり、というイメージ）する形で調整中です。

[daisuke-nogami]

調査会社パネルによる調査が終了して、総括報告書で結果を公開することができましたのでCloseします。