학습 목표
•
이용자 연구의 주요 방법(설문, 인터뷰, 포커스그룹, 로그분석, 사용성 평가)의 장단점을 비교한다.
•
Archival Metrics 툴킷 등 표준화된 조사 도구를 활용할 수 있다.
•
연구 윤리와 개인정보 보호를 조사 설계에 반영한다.
1. 왜 표준화된 방법이 필요한가
기관마다 제각각의 설문을 쓰면 결과를 비교하거나 축적할 수 없다. 더프, 야켈, 티보 등이 개발한 Archival Metrics 툴킷은 연구자 대상 설문, 온라인 검색도구 평가, 웹사이트 평가, 수업(instruction) 평가, 학생 연구자 설문 등 검증된 도구 세트를 무료로 제공하며, 아카이브 평가 도구의 사실상 표준이 되었다[1]. 조사 도구를 처음부터 만들기보다 검증된 도구를 현지화하는 것이 신뢰도·타당도 면에서 유리하다.
2. 방법론 개관
2.1 설문조사(Survey)
•
장점: 대규모 계량 데이터, 추세 비교 가능
•
단점: 응답자 편향(방문 이용자 위주), 낮은 응답률, '왜'를 설명하지 못함
•
설계 요점: 목적-문항 정렬표 작성, 척도 일관성(리커트 5점 등), 사전 테스트(pilot), 응답 부담 10분 이내
2.2 인터뷰와 포커스그룹
반구조화 인터뷰는 탐색행태의 '왜'를 드러낸다. Duff & Johnson의 역사가·계보학자 연구가 대표적인 인터뷰 기반 연구다[2]. 포커스그룹은 6~10명의 상호작용에서 미충족 요구를 발견하는 데 유용하지만, 진행자 역량과 집단 역학 관리가 관건이다[3].
2.3 웹 로그·이용 데이터 분석
온라인 이용자는 로그로 말한다. 분석 대상은 다음과 같다.
•
검색 로그: 질의어 분포, 무결과(zero-hit) 질의, 재질의 패턴 → 색인·전거 보완의 근거
•
웹 분석(GA4 등): 유입 경로, 체류시간, 이탈률, 전환(사본 신청 등)
•
열람·복제 통계: 컬렉션별 이용 편중, 미이용 컬렉션 식별
로그는 행동은 보여주지만 의도는 보여주지 못하므로, 질적 방법과의 혼합설계(mixed methods)가 권장된다.
2.4 사용성 평가(Usability Testing)
프롬(Christopher Prom)의 통제 실험 연구는 이용자들이 EAD 기반 온라인 검색도구의 구조를 이해하는 데 어려움을 겪음을 보여주었다[4]. 사고 구술(think-aloud) 프로토콜, 과업 기반 테스트(5~8명이면 주요 문제의 대부분 발견), 카드 소팅, 아이트래킹 등이 활용된다. 12~13주의 프로토타입 제작에서 실제로 적용해 본다.
3. 조사 윤리와 개인정보
•
연구 목적·자발성·철회 가능성을 고지하고 동의를 받는다(대학의 IRB 절차 확인).
•
로그 분석 시 IP 등 식별자를 가명처리하고, 「개인정보 보호법」상 최소수집·목적제한 원칙을 준수한다.
•
소수 집단 응답은 교차분석 시 재식별 위험이 있으므로 보고 단위를 조정한다.
4. 실습 과제
관심 아카이브 웹사이트 1곳을 선정하여, ① Archival Metrics 웹사이트 설문을 참조한 10문항 설문지 초안과 ② 과업 기반 사용성 테스트 시나리오 3개(예: "1970년대 ○○ 관련 사진을 찾아 사본을 신청하라")를 설계해 제출한다.
토론 질문
•
온라인 이용자가 다수인 시대에, 방문자 중심 통계는 서비스 평가를 어떻게 왜곡하는가?
•
생성형 AI를 설문 문항 설계·응답 분석에 활용할 때의 이점과 위험은?
수업 운영 (3시간)
교시 | 내용 |
1교시 (75분) | 강의: 조사방법론 개관, Archival Metrics, 연구 윤리 |
2교시 (50분) | 문헌 발표 2편 + 토론 |
3교시 (50분) | 실습: 설문 문항 클리닉 + 사용성 시나리오 작성 |
발표 문헌
1.
Wendy Duff et al., "The Development, Testing, and Evaluation of the Archival Metrics Toolkits," The American Archivist 73, no. 2 (2010): 569-599.
2.
Christopher J. Prom, "User Interactions with Electronic Finding Aids in a Controlled Setting," The American Archivist 67 (2004): 234-268.
실습: 조사 도구 만들기 (과제 2 시작점)
1.
설문 문항 클리닉(25분): 각자 Archival Metrics 설문에서 3문항을 골라 과제 1의 아카이브에 맞게 번역·현지화한다. 짝을 지어 상호 검토: 유도 질문·이중 질문·모호한 척도를 잡아낸다.
2.
사용성 시나리오(25분): "○○을 찾아 사본을 신청하라" 형식의 과업 3개를 작성하고, 옆 팀과 교환하여 실제로 1개 과업을 수행해 본다(수행자는 소리 내어 생각하기). 관찰자는 막힌 지점을 기록.
3.
과제 2 안내: 오늘 초안을 정리해 다음 주까지 제출.
각주
[1] Wendy Duff, Elizabeth Yakel, Helen Tibbo, Joan Cherry, Aprille McKay, Magia Krause, and Rebecka Sheffield, "The Development, Testing, and Evaluation of the Archival Metrics Toolkits," The American Archivist 73, no. 2 (2010): 569-599. 툴킷: https://sites.google.com/a/umich.edu/archival-metrics/
[2] Duff & Johnson (2002; 2003). 3주차 각주 참조.
[3] Adam Kriesberg, "Focus Groups in Archival Institutions: A Pilot Study," SAA Research Forum (2011).
[4] Christopher J. Prom, "User Interactions with Electronic Finding Aids in a Controlled Setting," The American Archivist 67 (2004): 234-268.