프로그램 평가

평가의 개념과 필요성

개념

- 클라이언트를 위임해 준 사회와 전문직에 대한 책임을 사회복지프로그램을 통해서 제대로 이행했는지 확인하기 위한 과정이자 도구

- 수행된 프로그램의 당초 목적과 목표를 얼마나 잘 달성하였는가에 대해 확인하는 것이 핵심

필요성

환류기능 : 정책개발

- 프로그램 중단, 축소, 유지, 확장 등에 관한 의사결정의 기초자료로 활용

- 바람직한 목표설정을 위한 자료를 수집

- 효율적인 조직 운영 설계와 조직의 효과성과 능률성을 제고할 수 있는 방법을 개선하는 데 필요한 자료를 수집

책임성 이행 : 문책

- 클라이언트와 자원을 위임받으면서 발생된 재량권과 함께 책임을 이행해야만 함

- 사회복지조직 : 전문적 책임(효과성, 효율성), 재무회계적 책임

- 사회복지 전문가 : 기관, 클라이언트, 전문직에 대한 책임

이론의 형성

- 각 욕구 충족을 위한 특정한 개입이 최적일 것이라는 가정에 근거

- 특정 요인이 특정한 결과를 초래할 것이라는 논리적·인과적 체계

활용

직접적인 결과에 대한 활용

- 클라이언트의 문제해결을 위해 적용한 개입기술

- 프로그램의 효과성 측정에 활용

- 프로그램의 개선 혹은 수행 여부의 결정에 활용

중간결과에 대한 활용

- 제공된 서비스에 대한 이해 증진, 서비스 질을 향상하는데 활용

- 사회의 욕구 변화에 따른 프로그램 수정에 활용

최종결과에 대한 활용

- 프로그램 관련 정책의 결정, 집행에 필요한 정보 제공

- 재무회계 관리, 정치적 책임성 이행 여부에 대한 확인

- 사회복지시설에 대한 국고보조금의 차등지원을 위한 기초자료로 활용

- 프로그램 이론 검증 및 수정

프로그램 평가 유형과 요소

평가 주체에 따른 구분

내부평가

- 조직 구성원들이 실시하는 평가

- 프로그램 운영이나 개선을 위한 용도로 활용

- 장점 : 조직 전반에 관한 사항을 더 많이 알고 이해, 프로그램 결과에 대한 전후 상황의 맥락을 파악

- 단점 : 객관성과 공정성 결여, 비판적 시각을 갖기 어려움

외부평가

- 대학교수, 외부 사회복지 관련 전문가, 정부기관, 재정지원 기관 등 외부의 제삼자가 수행

- 프로그램 개선을 목적으로 수행, 평가 결과에 따라 인센티브 부여 또는 제재의 수단으로 활용

- 장점 : 외부 전문가를 활용함으로써 신뢰성 확보

- 단점 : 내부 정보에 대한 이해 부족으로 양적 평가에 집중하는 결과 초래

평가 대상에 따른 구분

시설평가

- 사회복지조직의 설치 목적에 따라 개별 프로그램을 포함하여 시설운영 전반에 대해 종합적 및 서비스 제공이 이루어지는가에 주안점

프로그램 평가

- 프로그램 자체의 결과에 대한 효과성이나 효율성과 같은 평가기준에 따라 실시

프로그램 평가시점·방법에 따른 구분

형성평가(과정평가)

- 프로그램 진행 중에 프로그램의 원활하고 성공적인 운영을 위해 문제점을 찾아내고 수정·보완하기 위한 목적으로 실시(과정 지향적 평가)

- 모니터링과 환류(Feedback)를 중요시하며 융통성이 많고 주로 내부평가로 이루어짐

총괄평가(결과평가)

- 프로그램이 종결된 이후 프로그램의 결과나 목표달성 여부, 클라이언트와 지역사회에 미친 영향력을 파악하기 위한 평가(목표 지향적 평가)

- 전문적이고 과학적인 평가를 지향, 주로 외부평가로 진행

프로그램 평가분석 방법에 따른 구분

양적평가

- 설문조사와 구조화된 질문지를 이용하여 숫자, 비율 등의 양적 자료를 수집

- 평가를 위해 수집되는 자료가 주로 계량화되고 객관적 자료를 통해 연역적 방법으로 분석

질적평가

- 인터뷰, 관찰, 문헌연구 등 수량화할 수 없는 자료들을 기초로 심도 깊게 분석

- 수량화되지 않은 자료를 수집하고 귀납적으로 분석

평가 요소(기준)

효과성

- 제공된 프로그램과 서비스에 의해 의도했던 목표가 달성되었는지 측정

- 의도한 결과와 예기치 않았던 결과를 모두 포함

효율성

- 투입된 비용 대비 최적의 성과를 산출하였는가에 대한 측정

- 비용효과분석 : 여러 정책대안 가운데 가장 효과적인 대안을 찾기 위해 각 대안에 투입되는 비용을 금전적 가치로 환산, 결과에 따른 편익·산출은 금전적 가치로 환산하지 않고 산출물 그대로 분석에 활용

- 비용편익분석 : 여러 정책대안 가운데 목표달성에 가장 효과적인 대안을 찾기 위해 각 대안이 초래할 비용과 편익을 금전적 가치로 환산하여 비교·분석하는 기법

노력성

- 얼마나 충분한 양질의 서비스를 제공하기 위해 노력하였는가에 대한 측정

- 인력, 비용 등 서비스에 투입된 노력의 양과 서비스 결과인 생산량

적법성

- 프로그램이 관련 법률과 운영규칙 등에 얼마나 적합하게 운영했는지 측정

서비스의 질

- 사회복지조직이 서비스 목적을 달성하기 위해 가장 우수하다고 인정되는 지식, 기술, 방법을 얼마나 적절하게 사용했는지에 대한 측정

- 전문적인 기준이 활용되는 정도

만족도

- 프로그램 과정 중 또는 종결 시 프로그램에 대한 만족의 수준을 측정

- 프로그램 방향 수정 및 결과(성과)를 확인하는 데 사용

접근성

- 서비스를 필요로 하는 사람들이 물리적, 심리적, 정보 등에 관해 손쉽게 이용할 수 있었는지 측정

형평성

- 프로그램의 효과와 비용이 사회집단 간에 공평하게 배분되었는지 측정

- 프로그램이 필요한 대상자에게 참여할 기회나 혜택이 공평하게 분배되었는가와 같은 가치 실현에 초점

적절성

- 프로그램 참여 대상자의 특성이나 상황을 고려하여 적절한 서비스를 제공하였는지 측정

영향

- 프로그램이 원래 의도했던 사회문제나 욕구와 관련하여 어느 정도의 영향력을 미쳤는가 측정

평가조사의 절차

- 평가의 목적 및 대상 결정

- 프로그램 책임자 및 담당자의 이해와 협조 요청

- 프로그램의 목표 확인

- 조사대상의 변수 선정

- 이용 가능한 자료 및 측정도구 결정

- 측정도구 개발

- 적절한 조사설계 및 형태 선정

- 조사의 수행

- 결과의 분석 및 해석

- 결과보고 및 실제적 이용

논리모델

특징

- 체계이론을 기반으로 프로그램의 목표와 결과 사이의 인과관계를 설명하기 위한 것

4단계

- 투입 : 프로그램에 필요한 인적·물적 자원, 클라이언트의 자격 요건

- 과정·전환 : 프로그램 투입을 통해 제공되는 구체적 서비스 활동

- 산출 : 프로그램 활동에서 생성된 서비스 및 생산물(양적 측면)

- 성과 : 프로그램 종결 후 클라이언트의 변화와 관련한 내용(질적 측면)