政策評価――効いたかをどう確かめるか — Epoché
制度と行動 政策と政治経済 約 26 分 本文 約 11,600 字 図 4・表 2 資料 1 節 この課の要点 問い・比べ方・政治の 3 つ 問い 政策が効いたかは、政策が無かった場合（反実仮想）と比べて初めて言える 比べ方 前後比較や参加者と不参加者の比較は誤りやすく、くじや差の差などで比較群を作る 政治 結果を知ることは政治的に危うく、日本では評価書の作成と公表が法で義務づけられている はじめに 新しい政策が始まり、翌年に数字が良くなると、「政策が効いた」と発表されることがあります。たとえば、交通事故の死者がとりわけ多かった年の翌年に取り締まりを強め、死者が減った、という場合です。けれども、その減少は本当に取り締まりのおかげでしょうか。その年は天候が良かったのかもしれませんし、極端に多かった年の後なので、自然に元の水準へ戻っただけかもしれません。 これは細かな統計の話にとどまりません。開発政策の評価の手引きを書いたガートラーらによれば、施策の結果は、説明責任を高め、予算の配分を決め、施策の設計を導くために、担当者がますます使い、また求められるようになっています [1] 。効いていない施策に予算を使い続けることも、効いている施策を誤ってやめることも、数の読み違いから起こりえます。 この課は、政策が「効いたか」をどう確かめるかを学びます。この課程の「政策の実施――現場の裁量が政策を決める」の課では、決まった政策が現場でどう形を変えるかを見ました。この課はその先で、実施された政策が社会に何をもたらしたかを問います。 この課では、米国の州知事の発表をめぐる 1960 年代の議論と、日本の飲酒運転の罰則の強化という、二つの実際の例を手がかりにします。どちらも、数字が良くなったという事実そのものは疑えませんが、その数字から何を言ってよいかが問題になります。さらに評価には、方法の難しさだけでなく、結果を知りたくない人がいるという政治の難しさもあります。 鍵になる考えは一つです。政策の効果とは、政策があった場合と、政策が無かった場合との差です。ところが、政策が無かった場合は実際には起きていないので、見ることができません。そこで評価の研究は、見えない場合を推し量るための「比べる相手」をどう作るかを工夫してきました。 この課でいう「効いた」は、「良くなった」とは違う意味で使います。良くなったことは数を見れば分かりますが、効いたことは、政策が無かった場合と比べないと分かりません。この区別が、この課のすべての節の土台です。 日本でも、国の行政機関は法律に基づいて自らの政策を評価し、その結果を公表しています。第 1 節で評価の問いの型と日本の制度を、第 2 節で比べる相手がなぜ要るかを、第 3 節でその作り方を、第 4 節で評価をめぐる政治を見ます。資料では、飲酒運転による死亡事故の推移を、自分の目で読んでみます。 この課の問い ある政策の後で数字が良くなったとき、それは政策が効いたからだと言えるのでしょうか。言えるためには、何と何を比べればよいのでしょうか。 この課のことば 政策評価 政策が要るか・効いたか・費用に見合うかを、決める前や実施の後に調べて判断すること。日本の国の行政機関では法律で義務づけられています 反実仮想 「もし政策が無かったら、どうなっていたか」という、実際には見られない場合。効果はこれとの差です 比較群 政策を受けなかった人や地域。政策が無かった場合を推し量るために比べる相手です 選択バイアス 政策を受ける人がもともと違うために、比べた差が政策の効果のように見えてしまうずれ。意欲の高い人ほど講座に申し込む、などで起きます 無作為割り当て くじで政策を受ける人を決め、受ける群と受けない群を平均して同じにする方法。ランダム化比較試験とも呼ばれます EBPM 証拠に基づく政策立案。その場限りの例に頼らず、根拠となるデータで政策を作ることを指します 政策評価――「効いた」はどうすれば言えるか 政策が効いたかを確かめるには、何を問い、何と比べ、その結果をどう扱うかを考える必要があります。この章では、評価の問いの型から始め、比べる相手がなぜ要るか、どう作るか、そして評価をめぐる政治を順に見ます。 何を確かめるのか――評価の問いの型 政策評価という言葉は、性質の違う二つの活動をまとめて指すことがあります。開発政策の評価の手引きを書いたガートラーらは、モニタリング（監視）を、施策の中で起きていることを継続して追い、実施と日々の管理に使う過程と定義します [1] 。これに対して評価は、計画中・実施中・終了した事業や政策を、ある時点で客観的に査定するものだとされます [1] 。毎月の支出や配布の数を集計するのはモニタリングで、それだけでは評価になりません。 ガートラーらは、イマスとリストの分類によりながら、評価が答える問いを大まかに三つの型に分けています [1] 。記述の問いは、何が起きているか（過程・状況・組織の関係・関係者の見方）を問います [1] 。規範の問いは、起きていることを、あるべきことや目標と比べ、目標が達成されたかを査定します [1] 。因果の問いは、介入が成果にどんな違いを生んだかを問い、成果を施策のおかげと言えるか（帰属）に焦点を当てます [1] 。この課の題の「効いたか」は、三つ目の因果の問いです。ガートラーらは、ある政策に帰属させられる人々の暮らしの変化を査定することをインパクト評価と呼び、帰属への焦点をその特徴としています [1] 。 投入 人員や予算など、施策が使える資源 活動 投入を産出に変える仕事 産出 施策が生む財とサービス。実施機関が 直接に左右できる 成果 受け手が産出を使って生じる結果。 多くは直接に左右できない 最終成果 目標の達成。多くの要因の影響を受け、 長い時間がかかる 図 1 結果の連鎖（ガートラーらの整理による）。下の段ほど施策の外の要因が混ざる。 因果の問いを立てるときには、まず施策が成果に届く筋道を書き出します。ガートラーらは、介入が望む結果をどのように生むはずかの記述を変化の理論と呼び、施策がなぜどのように成果に届くかの因果の筋道を述べるものとします [1] 。その描き方の一つが図 1 の結果の連鎖で、投入・活動・産出が、成果と最終成果を改善すると見込まれる順序を示します [1] 。ガートラーらによれば、産出（配った冊子や開いた講座など）は実施機関が直接に左右できますが、成果は多くの場合、実施機関が直接には左右できません [1] 。最終成果は、典型的には多くの要因の影響を受けうるもので、達成までに長い時間がかかります [1] 。連鎖の下の段ほど施策の外の要因が混ざるので、「効いたか」を確かめるのは難しくなります。 本教材の作例として、飲酒運転の罰則を強める法改正を連鎖に当てはめてみます。取り締まりの人員と予算が投入、検問が活動、摘発の件数が産出、飲酒運転をする人の減少が成果、飲酒運転による死亡事故の減少が最終成果です。摘発の件数が増えたことは産出の変化で、それだけでは死亡事故が改正のおかげで減ったことにはなりません。 日本の国の制度では、2002 年 4 月 1 日から施行された「行政機関が行う政策の評価に関する法律」（政策評価法）がこの仕事を定めています（第 5 条だけは別の日の施行） [3] 。同法第 3 条は、行政機関に、政策効果を把握し、必要性・効率性・有効性などの観点から自ら評価し、結果を政策に反映させることを求めます [3] 。ここでの政策効果とは、政策に基づく行政上の一連の行為が国民生活と社会経済に及ぼす影響で、及ぼすと見込まれる影響も含みます [3] 。その政策効果は、政策の特性に応じた合理的な手法で、できる限り定量的に把握するものとされます [3] 。また、研究開発・公共事業・政府開発援助などのうち、政令で定め、法の要件に当たる政策については、決める前の評価（事前評価）を行わなければなりません [3] 。 本教材の整理として言えば、法の「有効性」の観点は因果の問いに近く、「必要性」の観点は記述や規範の問いと重なります。ただし、法そのものが観点と問いの型を一つずつ対応させているわけではありません。 ここで間違えやすい 「政策評価をした」ことと「効果が確かめられた」ことは同じではありません。支出や実施の件数を追うモニタリングは評価の材料になりますが、それだけでは、成果の変化が施策のおかげかどうかは分かりません。 反実仮想――比べる相手がいなければ効果は分からない 施策の効果を言うには、比べる相手が要ります。ガートラーらは、反実仮想を、施策の参加者にとって、施策が無かったなら成果がどうなっていたか、と定義します [1] 。同じ人が、同じ時に、施策を受けた場合と受けなかった場合の両方を生きることはできません。そのため反実仮想は直接には観察できず、推定するしかありません [1] 。実際のインパクト評価では、施策が無かった場合を推し量る比較群を見つけ、施策を受けた群と比べます [1] 。 同じ一人の、二つの道 ? 施策を受けた道 成果は観察できる 施策が無かった道 成果は観察できない 参加者（一人） 図 2 同じ一人の二つの道。施策を受けた道の成果は見えるが、施策が無かった道（反実仮想）の成果は見えない。 図 2 で、施策を受けた道の先は見えますが、施策が無かった道の先は見えません。比較群は、見えない道の代わりです。ガートラーらによれば、妥当な比較群は、施策が無いとき平均して処置群と同じ特徴を持ち、施策の影響を受けず、施策を受ければ同じように反応する、という三つの条件をすべて満たすものです [1] 。 よく使われる二つの比べ方は、この条件を満たしにくいとされます。一つ目は前後比較です。前後比較は、施策が無ければ参加者の成果は施策の前とまったく同じだったと仮定しており、数か月や数年にわたる施策の多くでは、この仮定は成り立たないとされます [1] 。ガートラーらの作例では、小口融資を受けた農家の米の収量が増えても、その年の雨や、収量を左右するほかの要因を分析で説明できない限り、前後比較では真の効果を計算できません [1] 。施策の前の値が反実仮想のよい推定になることは、ほとんど無いと言います [1] 。 二つ目は、自分から参加した人と参加しなかった人の比較です。選択バイアスは、人が施策に参加する理由が、施策が無くても成果と相関しているときに起きます [1] 。職業訓練の作例では、受講した若者が、施策が無くても高い所得を得たであろう場合には、選択バイアスは正になり、訓練の効果を過大に見積もることになります [1] 。 キャンベルが 1969 年の論文「実験としての改革」で取り上げた例は、前後比較の危うさをよく示します。米国コネティカット州では 1955 年に交通死者が記録的に多く、知事が前例のない厳しい速度違反の取り締まりを始めました [2] 。1 年後の死者は、前年の 324 人に対して 284 人でした [2] 。知事は、1956 年に 40 人の命が救われ、1955 年から 12.3% 減ったので、取り締まりは確かに価値がある、と発表しました [2] 。 キャンベルは、この発表を社会科学の証拠の基準から検討しました。まず、2 点だけの比較は、乾いた年だった、シートベルトが広まったといった、ほかの変化の要因を統制していません [2] 。次に、時系列は施策が無くても揺れるもので、取り締まりの前の大きな揺れに比べると、施策の効果は比較的小さく見えるとされます [2] 。さらに、取り締まりが始まりやすいのは死者がとりわけ多かった年の後なので、1956 年の下げの少なくとも一部は、1955 年の極端さが生んだ見かけ（人工物）だと論じました [2] 。極端な年の次の年が平均へ戻るこの現象を、キャンベルは、社会改革の実験の文献で最もよく繰り返される自己欺瞞の形だろう、と述べています [2] 。 では、比べる相手が足りない証拠は捨てるしかないのでしょうか。キャンベルの答えは違います。統制が足りないからといって証拠を捨てるのではなく、もっともらしい対立仮説をできるだけ多く立て、それを確かめる補いの調査（天候の記録やシートベルトの売上など）を行うよう勧めました [2] 。この考えは、くじが使えない多くの政策の評価で、今も出発点になっています。 ここで間違えやすい 数字が良くなったことと、政策が効いたことは別のことです。前後比較で減ったという事実は、政策が効いた可能性と矛盾しませんが、それだけでは天候・ほかの対策・極端な年からの戻りと区別できません。 比べる相手の作り方――くじ・差の差・自然実験 比べる相手を確かに作る方法の代表は、くじです。無作為割り当てでは、対象になりうる各単位が同じ確率で選ばれます。その結果、大きな対象の集団で行う場合には、処置群と比較群は、観察できる特徴でも観察できない特徴でも、平均して釣り合うと期待できます [1] 。ガートラーらは、無作為割り当てはインパクト評価のゴールドスタンダード（評価方法の標準）とされる、と書いています [1] 。 ただし、くじを引いた後も群が保たれている必要があります。ガートラーらは、受け手が実際に施策に参加し、受け手でない人が参加していないかをモニタリングで確かめることが欠かせないとしています [1] 。また、一部の人のデータが欠ける無回答は結果に偏りを生みうるので、よい評価は無回答と脱落をできるだけ少なくしようとします [1] 。比較群が施策の影響を受けないことも、第 2 節で見た妥当な比較群の条件の一つでした。 くじには倫理の問いが伴います。資格のある人に施策を与えないことへの懸念を招きやすい一方で、多くの施策は資源が限られ、全員に一度には届きません [1] 。施策を段階的に広げる場合には、同じく資格のある人が受ける順番をくじで決め、後から入る人を先に入った人の比較群にできます [1] 。ただし、効くと分かっている介入から、評価のためだけに人々を除外すべきではない、とガートラーらは注意します [1] 。 2019 年のノーベル経済学賞は、バナジー、デュフロ、クレマーに「世界の貧困を和らげる実験的アプローチ」に対して贈られました [5] 。授賞の説明によれば、1990 年代半ばにクレマーら