効果的な「卒業生調査」の方法とは

「キャリアの広場LIVE 第3回」実施レポートVol.1

2022/06/03 タグ：キャリアの広場LIVE, 編集部より

当リアセック「キャリアの広場」編集部では、2022年5月13日、オンラインセミナー「キャリアの広場LIVE 第3回」を実施した。好評を得た第1回・第2回（2020年開催）に続き、Q & A 機能で参加者からの質問を受ける双方向型オンラインセミナー（Zoomウェビナー）とし、全国から120名以上のご参加をいただいた。

今回のテーマは、教学改革への活用が近年期待されている「卒業生調査」とした。卒業生調査を用いて大学教育とキャリアの繋がりを解明することに取り組んだ『PROG白書2021』の刊行（2021年11月）を機に、PROG白書プロジェクトの主査でもあるリアセック　キャリア総合研究所所長（「キャリアの広場」編集長）の角方正幸が登壇した。

■卒業生調査は「真の意味での学修成果の可視化」

講演「効果的な卒業生調査の方法」は、全国13大学の協力を受けた「卒業生調査」（卒業後3～5年目）の分析を収録した『PROG白書2021』の解題を兼ね、参加希望の皆様に事前アンケートでお寄せいただいた「卒業生調査に関する関心事、質問」を反映して構成した。

冒頭、『PROG白書2021』で卒業生調査を軸に据えた理由として、大学教育の真価が問われるのは「卒業生が、大学で身につけたことをどれほど活用し、社会で活躍しているか」であり、卒業生調査が「真の意味での学修成果の可視化」であることを示した。

■回収率は何パーセントあれば「十分」か？

まず「回収率と回答バイアス」の問題について、『PROG白書2021』のデータを用いて示した。
協力を得た全国13大学全体の平均回収率は13.2％だったが、比較できる（同じ調査方法をとった）12大学でみると、7.6％から40.4％まで、回収率のバラつきはかなり大きい。このバラつきが回答結果にどのように影響するかを検証したところ、回収率と最も相関が高かった調査項目は、大学入学時点で決まっている基本属性の1つである「志望順位」の「第1志望の割合」だった。

棒グラフで示す回収率の高い順に左から並べると、折れ線で示す「第1志望の割合」が右下がりに、つまり回収率が低くなるにつれて「第1志望の割合」も低くなる傾向があることが見て取れる。相関係数rは0.83、回収率が40.4％と突出している1大学を除外してもr’＝0.60と高い相関を示している。

他の調査項目には、このような強い相関は見られなかった。分析にあたって重視したキャリア関連指標でも、グラフの様相は「第1志望の割合」と違って、折れ線が上下しつつほぼ横ばいだ。

相関係数もいずれも低く、「回収率が低いと、仕事満足度の高い（低い）回答に偏る」といったバイアスがかかる可能性は低いといえそうだ。

▼当日のご質問（Q & A）：回収率編
回収率は参加者の関心が最も高いトピックで、質問も多く寄せられたため、ここでいったんQ&Aから1問を回答した。

Q.	ご紹介の事例では、回収率が10％以下から40％以上までとかなり開きがありますが、回収率が何パーセントぐらいあれば、妥当な分析ができるのでしょうか。
A.	よくいただく質問ですが、何パーセントなら大丈夫、という具体的な基準は「ない」とお答えしています。ただ、そうはいっても最低10％は超えてほしい。かつ、調査データを分析する観点では、回収率とともに、回収されたサンプルの総数も重要です。最低100のサンプルがないと、いろいろな分析はできません。例えば、10000人に回答を依頼して回収率10％で1000のサンプルが集まれば、いろいろな分析が可能になってきます。ところが、1000人に依頼して回収率が同じ10％だと、100の中で分析できることに限られます。

■調査設計は「調査目的の設定」から！

調査目的は①仮説検証型、②実態把握型に大別できる。『PROG白書2021』の調査は、仮説検証型を目指したが、一般的な卒業生調査は実態把握型である。
実態把握型は、数値の解釈が難しい。例えば「大学生活満足度が65％」という数値が得られたとして、それだけでは高いとも低いとも判断しかねる。そこで、条件の似通った他大学、全国平均などの比較対象（ベンチマーク）と比べることが非常に大事となる。それによって、「大学生活満足度65％は全国平均よりやや低い」のように判断できる。
さらに卒業生調査は、調査を継続することが重要だ。一時点でのデータでは見えないことが多く、「この数値が上昇している」といった経年変化によって実態を把握できる。

ベンチマークと比較し、経年変化を観察するためには、質問紙が統一されている必要がある。例えば『PROG白書2021』の質問紙は公開されており、クレジットを入れれば誰でも利用可能なので、活用いただきたい。

もう1つのポイントは、その結果を誰が利用するのかを想定した上で調査を設計することだ。しばしば、「とりあえず調査」してからデータ活用を考えるケースがあるが、そうではなく、IR室、経営ボード、入試広報、キャリアセンターなどのうちの誰が・どのように活用するかを、調査する「前に」検討しておかなければ、良い調査はできない。

▼当日のご質問（Q & A）：調査設計編
調査設計については、次の質問を取り上げた。

Q.	大がかりな卒業生調査で、結果を「みんなで」使いたいと、学内のさまざまから部署でそれぞれ聞きたいことが出て、分量がとても多くなってしまいます。どれくらいの設問量がいいのでしょうか。
A.	私自身の作業過程を振り返ってみると、実施した分量のだいたい倍ぐらいから始めているのが常です。それを半分まで削ぎ落としていくのですが、なぜかというと、調査の分量と結果の精度が反比例するからです。調査票が厚くなるほど、回答の精度も回収率も下がります。スマホやタブレットで15分～20分で回答できる分量がひとつの目安となるでしょう。『PROG白書2021』の90問も、そのあたりを目安にしたものです。

■調査結果活用の好事例

Q & A に、結果を「みんなで」使いたいという趣旨のご質問があったが、そううまくいくものではなく、「何にでも役に立つデータ」は結局のところ「何の役にも立たないデータ」だと考えた方がよい。調査設計で述べたことのくり返しになるが、調査結果を有効に活用するには、スタート時点で、何をメインの目的に、誰のために調査するのかを明らかにしておくことが重要だ。

ここで、東京薬科大学の「卒業生調査レポート」特設サイトがたいへん充実しているので、結果活用の好事例としてご紹介する。
2016年度採択のAP事業テーマV（卒業時における質保証の取組の強化）の一環として、卒業生約2万人を対象に実施した卒業生調査の調査レポートで、2021年11月に特設サイトが公開された。
項目選択式の設問だけでなく、自由記述式の設問にも分析の工夫があり、知見が得られているのも特色だ。今後は定性データの活用が進み、その重要性も高まると考えられるので、その意味でも非常に参考になる。

▼当日のご質問（Q & A）：結果活用編

Q.	IR的な卒業生アンケートは、基本的に無記名ですか？　記名が一般的ですか？　在学中のデータと紐づける必要があれば、記名なのかと思うのですが。
A.	回答側からすると無記名のほうが答えやすいということが当然ある。在学中データと紐づけて分析・活用することを考えるなら、調査の主体が母校であるということの信頼関係に基づき、「もしよろしければ」と任意で情報を取るのが現実的だと思います。卒業生調査の場合、回答者は「調査票が届いたということは、大学は自分の氏名や連絡先をすでに知っている」と判断するためか、任意での記名に応じる割合は比較的高いようです。ただし、記名式といっても氏名や住所を直接入力することにはかなり抵抗があるので、それ以外の方法を考えるのがよいでしょう。

■まとめ：効果的な卒業生調査のためのTIPS 10

最後にまとめとして、卒業生調査をより効果的にするための「10のTIPS」を示す。

多くはこの講演ですでに触れたが、⑨についてとくに補足しておきたい。
卒業生調査を行うと、「専門的な知識は社会（職場）で求められていない」という結果が出て、専門課程の教員を中心に、反発や批判が起こることが多い。しかし『PROG白書2021』でも述べたとおり、専門知識を得る過程で、リテラシーやコンピテンシーといった「社会で求められるジェネリックスキル」が身につく。専門「知識」は必要ではないとしても、専門教育そのものが不要ということでは決してない。
これは調査結果を分析し活用するうえで重要な観点なので、ぜひご理解いただきたい。