학습 목표
•
서비스 평가의 목적(개선, 책무성, 옹호)과 평가 유형을 구별한다.
•
이용통계·만족도·품질지표를 결합한 평가 체계를 설계할 수 있다.
•
평가 결과를 서비스 개선과 기관 옹호(advocacy)로 연결한다.
1. 왜 평가하는가
평가는 세 가지 목적에 봉사한다. ① 개선: 병목과 미충족 요구의 발견, ② 책무성: 예산·인력의 정당화, ③ 옹호: 아카이브의 가치를 데이터와 이야기로 입증(14주 Roe의 논지와 연결). 그리마드가 지적했듯 이용자 연구에 비해 '프로그램 평가' 연구는 오랫동안 빈약했으나[1], Archival Metrics 프로젝트 이후 표준 도구가 자리 잡았다.
2. 무엇을 측정하는가: 3층 지표 체계
2.1 투입·산출 지표(이용통계)
열람·방문·원격질의 건수, 사본 발급, 온라인 세션·페이지뷰·다운로드, 전시·교육 참여자 수. SAA는 공공서비스 통계의 정의·산식을 표준화한 지표(예: 이용자 수, 참고 질의 수, 열람 기록 수의 집계 기준)를 제정해 기관 간 비교 가능성을 높였다. 통계는 정의가 표준화되어야 비교·누적이 가능하다는 점이 핵심이다.
2.2 성과 지표(만족·유용성)
Archival Metrics 툴킷의 연구자 설문·웹사이트 평가·수업 평가 도구가 대표적이다[2]. 국내에서는 김현지·이해영이 대학기록관을 중심으로 웹 기록정보서비스 평가모형을 개발·적용했고[3], 이해영의 기록관 정보서비스 현황 연구가 개선 방안 도출의 예를 보여준다[4]. 만족도 조사는 기대-경험 격차, 재이용 의사, 순추천지수(NPS) 등을 포함할 수 있다.
2.3 영향 지표(가치)
이용의 결과로 생긴 가치: 연구 산출물에의 기여, 권리구제 성사, 교육 효과, 경제적 영향. 야켈 등의 정부 아카이브 경제영향 연구는 아카이브 이용의 화폐적 가치 추정을 시도한 사례다[5].
3. 품질지표 설계 실무
서비스 표준(service standards)을 정하고 달성률을 측정한다.
영역 | 예시 지표 | 예시 목표 |
응답성 | 원격 질의 응답 소요일 | 근무일 5일 내 95% |
제공성 | 열람 신청~제공 소요시간 | 30분 내 90% |
발견성 | 검색 무결과율, 검색→열람 전환율 | 무결과율 15% 이하 |
정확성 | 발급 오류·재처리율 | 1% 이하 |
형평성 | 이용자 집단별 만족도 격차 | 격차 0.5점 이내 |
접근성 | 웹 접근성 진단 점수 | 지침 준수 |
대시보드화: 12~13주 프로토타입 기술을 활용해 지표를 자동 수집·시각화하면 평가가 일회성 조사에서 상시 모니터링으로 진화한다. AI 기반 서비스에는 응답 정확도(표본 검증), 출처 제시율, 이관율(사람 상담으로의 연결) 같은 신규 지표가 필요하다.
4. 평가에서 개선으로: PDCA
계획(지표·목표) → 실행(수집) → 점검(분석·해석: 통계+질적 자료의 삼각검증) → 조치(개선 과제화, 차기 목표 조정). 평가 보고서는 경영진·이용자 대상 요약본을 따로 만들어 옹호 자료로 활용한다.
기말 준비
각 팀은 프로토타입에 대한 평가 계획서(지표 5개, 수집 방법, 목표치, 개선 루프)를 작성해 기말 발표(16주)에 포함한다.
수업 운영 (3시간)
교시 | 내용 |
1교시 (75분) | 강의: 평가의 목적, 3층 지표 체계, 품질지표 설계와 PDCA |
2교시 (50분) | 문헌 발표 3편 + 토론 |
3교시 (50분) | 실습: 팀 프로토타입 평가 계획서 작성 (기말 제출물) |
발표 문헌
1.
김현지·이해영, "웹 기록정보서비스 평가모형 개발과 서비스 평가: 대학기록관을 중심으로," 『한국기록관리학회지』 9(2) (2009): 59-78.
2.
Elizabeth Yakel et al., "The Economic Impact of Government Archives," The American Archivist 75, no. 2 (2012).
3.
Wendy Duff et al., "The Development, Testing, and Evaluation of the Archival Metrics Toolkits," The American Archivist 73, no. 2 (2010) — 4주 발표와 중복 시 다른 수강생이 '평가 도구 활용' 관점으로 재발제.
실습: 평가 계획서 워크숍
1.
팀별로 본문의 품질지표 표를 참조해 프로토타입에 맞는 지표 5개를 선정한다(이용통계 2 + 만족·유용성 2 + AI 특화 1 권장).
2.
지표별로 정의·산식·수집 방법·목표치·측정 주기를 표로 작성한다.
3.
수집 가능성 검증: 지금 프로토타입에서 실제로 로그·이벤트를 남길 수 있는지 확인하고, 부족하면 측정 계획을 수정한다.
4.
팀 간 교차 검토: "이 지표가 좋아지면 이용자에게 정말 좋은가?"를 기준으로 허영 지표(vanity metrics)를 지적한다.
5.
결과물은 기말 보고서의 '평가 계획서' 장으로 제출한다.
각주
[1] Jacques Grimard의 프로그램 평가 논의; "Finding and Addressing the Gaps: Two Evaluations of Archival Reference Services," Journal of Archival Organization 10, no. 2 (2012)에서 재인용.
[2] Wendy Duff et al., "The Development, Testing, and Evaluation of the Archival Metrics Toolkits," The American Archivist 73, no. 2 (2010): 569-599.
[3] 김현지·이해영, "웹 기록정보서비스 평가모형 개발과 서비스 평가: 대학기록관을 중심으로," 『한국기록관리학회지』 9(2) (2009): 59-78.
[4] 이해영, "기록관의 정보서비스 현황 조사 및 서비스 개선 방안에 관한 연구," 『한국기록관리학회지』 12(3) (2012): 177-201.
[5] Elizabeth Yakel, Wendy Duff, Helen Tibbo, Adam Kriesberg, and Amber Cushing, "The Economic Impact of Government Archives," The American Archivist 75, no. 2 (2012).