博物館学(004-a)　学芸員のための教育　企画展立案スキル(2)立案段階から始める事業評価

博物館学 museum

ロジックモデルとして、最初に「最終アウトカム」を設定し、中間アウトカム→直接アウトカム→アウトプット【活動・実施体制　投入(資源)】と、上から下に設定していく。

メモ

  • 評価論
    • 評価というのは色々な分野を横軸に指す。社会的な介入の評価。価値を生み出したり問題を解決する。色々な分野の評価を実践しつつ、評価論とかにフィードバックさせる。評価は実践なので、学問ばかりやっていても新しいものは生まれない。博物館の評価はなかなか険しい道。社会的な価値を生み出す。どのようにして生み出していくかをお手伝いしていくのが評価。
  • 頂いたお題が「立案段階からはじめる評価」
    • 伝えたい事
      • 「評価」は社会の改善に役立つものである
      • プログラムの立案段階から評価は始まる　→計画段階が一番重要。　プログラムのデザインの評価や実施途中の評価も重要です
  • 評価の定義(1)
    • 「評価は物事のメリット、価値、意義を体系的に明らかにすること」＝evaluation　→価値を生み出す！！
    • 評価＝事実特定＋価値判断
    • 社会的介入の評価　役に立つ　
    • 指標を図りなさい　測定は評価ではない　100人来た→100人「も」来たのか、100人「しか」来なかったのか　価値
    • 誰の価値をどのように設定するの？　価値基準をきちんと検討することから評価は始まる。　
    • 指標のデータをどのように判断するのか。データをとったうえで、原因分析の方が重要。
  • 社会的介入の評価：プログラム評価
    • 何らかの社会的課題の解決にむけて行われる介入の評価
    • 何らかの社会的目的／価値創造のために行われる介入の評価
    • 社会的ニーズに対応し行われる政策、事業、活動群の評価
  • 評価の定義(2)
    • 「プログラム評価とは【社会調査】の方法を活用し、社会プログラムによる介入の【有効性を体系的】に調査し、評価を行うこと。その評価は、プログラムを取り巻く【政策的・組織的な文脈】を考慮した方法で行われるもので、社会状況を【改善するための活動の情報源】となるものである」
    • 【社会調査】…定量・定性データ・収集・分析
    • 【有効性を体系的に】…5つの評価の視点
    • 【政策的・組織的な文脈】…プログラムを取り巻く状況・利害関係者の関心に合わせた評価
    • 【改善するための活動の情報源】…評価情報は活用されてこそ意味がある。
  • 評価の目的：目的により誰がどのように評価を行うのかが異なる
    • アカウンタビリティ(説明責任)　→　使ったお金を示す
    • 知識生成　→　投薬効果を見る場合、投薬した患者と投薬していない患者を比較する　
    • プログラムの開発／改善
    • 社会変革、エンパワメント　→　評価を通して新しいイノベーションを生み出す！
  • 評価を使って、どういう目的を果たし、それが社会改善に繋がっていくのが大事！！
  • 評価の2種類
    • 総括的評価：結果の評価　Summative　事例：レストランでの客の評価…コスパ、おいしさなど。結果によって何かの便益が持たされる。
    • 形成的評価：過程の評価　Formative　事例：レストランでのシェフの評価…食材、レシピ、下ごしらえ、味付け・味見などのプロセスを評価する　→シェフの評価は暗黙知である。それをいかに視覚化して次に活かすか。主観的な暗黙知をマニュアル化データ化可視化する。
  • 何のための評価か、それによってどういった情報・データが必要なのかが異なっていく
  • 立案段階の評価は形成的評価である。
  • 演習では形成的評価を自由に開発する
  • 評価対象であるプログラムの構造を明らかにする
    • プログラム・セオリー(プログラム理論)の概念
    • アウトカム　介入によりもたらされる評価　　
    • アウトプットは手段　来場者数
  • 道路をつくりました。公共事業(山梨県の事例)
    • アウトプット→道路を作りました。
    • アウトカム→道路により観光収入が増えました。　しかし・・・山梨県はゼネコンと政治家の癒着により、なんかよく分からない場所に道路整備がなされている。
  • プロセス理論＝プログラムの実施プロセス
  • 社会的ニーズの達成のためには、様々な手法がある
  • ロジックモデル
    • 最終アウトカム　→　中間アウトカム　→　直接アウトカム　→　アウトプット【活動・実施体制　投入(資源)】
  • ニーズ　目指すところから考える　自分たちの地域を通して何をしたいのか　
  • 設計やデザインを見直していく　→　ロジックの見直し
  • 禁煙による健康被害が減る　→　禁煙する　→　様々な政策
  • 最終的なアウトカムは具体的にイメージできるものとする。
  • 子どもたちが運動しないことがいかに健康面でマイナスとなっているかをナイキが研究している
    • 児童館に金を払って研究している　どうすれば子どもが運動遊びをするか
    • その評価をやっている。
  • プログラムのどこに焦点を当てるか
    • プログラムの評価の5階層
      • プログラムのコストと効率性の評価
      • プログラムのアウトカム／インパクト評価
      • プログラムのプロセスと実施の評価(プロセス評価)
      • プログラムのデザインとセオリー評価(プログラム理論評価)
      • プログラムのニーズ評価
  • 評価の焦点
    • ニーズ評価
    • セオリー評価
  • 評価の焦点(2)
    • プロセス評価
  • 主な評価の焦点(3)
  • 科学的な評価：プログラムの帰属性を重視
    • このプログラムだけの影響かどうかを知りたい
    • 本当にこのプログラムだけの効果かということを常に念頭に置く
    • 実施グループ内の比較　事前・事後評価
  • 業績測定とは？
    • あらかじめ決めた目標値との比較
    • 目標値の「根拠」　　
    • 目標値の設定が外部統制になってしまう危険性　→　目標値達成できなければダメ　→　ギャップが生じた場合は原因分析するのがホントウ