사용자 인터뷰 결과가 엇갈릴 때: 근거를 비교하는 에비던스 월

한 인터뷰 참여자는 이전 설정을 기억해 달라고 하고, 다른 참여자는 매번 초기 상태로 시작하고 싶다고 합니다. 어느 요청을 따를지 결정하기 전에 두 사람이 같은 조건에서 같은 작업을 하는지 확인하세요. 사용자 인터뷰에서 상반된 결과가 나왔다면 서로 다른 필요, 빠진 맥락, 아직 답하지 못한 조사 질문이 숨어 있을 수 있습니다.

근거를 나란히 붙인 에비던스 월은 이런 차이를 검토하는 공간입니다. Boardmix의 협업 온라인 화이트보드에 원본 메모와 여러 해석을 함께 놓고, 어떤 추가 관찰이 있어야 해석을 구분할 수 있을지 살펴보세요. 목표는 참여자 모두의 의견을 일치시키는 것이 아니라 근거가 뒷받침하지 못하는 결론을 피하는 것입니다.

주제를 하나 더 만드는 것보다 근거 비교가 필요한 때

어피니티 맵은 관련 있는 관찰을 묶습니다. 반면 상반된 결과를 검토하는 에비던스 월은 논쟁 중인 질문 하나에 집중합니다. 어떤 자료가 각각의 설명을 지지하는지, 무엇이 그 설명에 맞지 않는지, 어떤 맥락이 빠졌는지 확인하는 방식입니다. ‘사용자는 더 많은 통제권을 원한다’는 넓은 주제 안에 정반대 요청이 섞여 있거나, 인상적인 인용문 하나가 기능 출시의 근거가 될 때 활용할 수 있습니다.

전체 조사 자료를 새 보드로 옮길 필요는 없습니다. 관련된 원본 메모를 모으고 기존 식별 번호를 유지하세요. 결과물은 현재 알 수 있는 범위를 명확히 한 설명과 구체적인 다음 확인입니다. 두 무더기의 스티커 메모 중 어느 쪽이 더 많은지 겨루는 투표가 아닙니다.

1. 어느 쪽이 맞는지 정하지 않고 차이를 적기

기업용 보고서 앱을 조사하는 가상 사례를 살펴보겠습니다. 제품팀은 보고서 필터를 유지해야 할지 검토하고 있습니다. ‘항상 필터를 기억해야 할까?’라는 질문은 이미 특정 구현을 우선합니다. 더 유용한 질문은 다음과 같습니다. 필터 재사용은 언제 도움이 되며, 언제 다음 작업에 잘못된 맥락을 가져오는가?

근거 위에 이 질문을 적고, 아래에 비교할 설명 두 가지를 놓습니다.

• 이전 필터를 재사용하면 일상적으로 만드는 보고서를 반복하기 쉽다.
• 빈 필터로 시작하면 관련 없는 보고서에 이전 설정이 넘어가는 것을 피할 수 있다.

두 설명은 모두 사실일 수 있습니다. 자동 기본값, 저장된 설정, ‘이전 필터 재사용’ 동작과 같은 해결안은 별도 영역에 둡니다. 선호하는 인터페이스에 관한 논의가 실제 필요를 파악하는 논의를 대신하지 않도록 하기 위해서입니다.

2. 당시 조건을 보존하는 출처 카드 만들기

카드마다 인용문이나 관찰 하나, 참여자 코드, 출처, 질문과 관련된 조건을 기록합니다. 권한이 있는 동료가 찾을 수 있도록 녹화 시점이나 메모의 정확한 위치를 적으세요. 널리 공유하는 보드에 개인정보나 누구나 볼 수 있는 녹화 링크를 올리지 않습니다.

참여자가 말한 내용과 관찰한 행동을 구분하세요. GOV.UK의 조사 세션 분석 안내서(영문)도 보고 들은 내용과 그 의미에 대한 해석을 나누어 기록하도록 권합니다. 이 보드에서는 원하는 해석에 맞게 근거를 고치지 말고, 원본 카드 옆에 해석을 따로 둡니다.

아래 사례의 자료 여섯 개는 참여자 세 명에게서 나온 것입니다. 서로 다른 참여자 여섯 명의 응답이 아닙니다. 조사 대상은 별도의 보고서 앱이며, 여기서 다루는 필터 동작은 Boardmix 기능이 아닙니다.

발언이 단정적으로 들려도 원문을 유지합니다. E03은 ‘매번’이라고 말하지만 이유에는 다른 고객사가 등장합니다. 이 차이는 맥락을 물어볼 이유이지, 발언을 자신의 해석으로 조용히 바꿀 이유가 아닙니다.

3. 모순이라고 부르기 전에 조건 비교하기

관련 카드를 나란히 놓고 작업, 역할, 회사나 계정, 제품 상태, 자료 유형을 살펴봅니다. ‘엇갈린 피드백’이라는 포괄적 이름보다 각 카드 쌍 옆에 적은 짧은 설명이 유용합니다.

맥락이 다른 경우: E01/E02와 E03/E04

P01은 같은 회사 안에서 보고서를 반복합니다. P02는 회사를 옮겨 가며 이전 고객사의 설정이 따라오는 것을 걱정합니다. 이 관찰만으로 한 사람은 맞고 다른 사람은 틀렸다고 할 수 없습니다. 반복 작업과 맥락 변경 사이의 경계가 중요할 수 있다는 뜻입니다.

해석은 이렇게 적습니다. ‘같은 회사의 반복 작업에서는 필터 재사용이 도움이 될 수 있다. 회사를 바꿀 때는 초기화 여부를 분명히 보여 주거나 명시적으로 선택하게 해야 할 수 있다.’ 제안한 상호작용을 조사하기 전까지는 가능성으로 남겨 두세요. 필요를 설명하는 자료 두 개가 어떤 인터페이스가 적합한지까지 증명하지는 않습니다.

조건이 빠진 경우: E05와 E06

월요일의 기억과 새 탭에서의 관찰은 아직 같은 조건의 비교가 아닙니다. 이전 버전, 탭 상태, 정확한 보고서가 알려지지 않았습니다. ‘미해결: 이전 조건 미확인’이라고 표시하세요. ‘앱이 무작위로 필터를 잊는다’고 단정하지 않습니다.

정말로 같은 계정, 보고서, 버전, 시작 상태, 단계를 사용한 두 관찰이 다른 결과를 냈다면 둘 다 보존하고 불일치를 조사합니다. 다른 카드 대부분이 한 설명을 지지한다고 해서 예외를 없애면 안 됩니다.

같은 단어를 다른 뜻으로 쓰는 경우

‘초기화’, ‘저장됨’, ‘같은 보고서’가 참여자에게 무엇을 의미하는지도 확인하세요. 공급업체는 남기되 날짜 범위는 바뀌기를 기대할 수 있습니다. 특정 필드를 가리키거나 최근 경험을 순서대로 보여 달라고 요청하세요. 애매한 한 문장으로 새로운 사용자 집단을 만드는 것보다 짧은 후속 질문이 더 유용할 수 있습니다.

4. Boardmix에서 에비던스 월 구성하기

Boardmix 작업 공간을 열고 빈 보드에서 시작합니다. 질문, 근거 쌍, 가능한 해석, 다음 확인이라는 프레임 네 개를 만드세요. 직접 캔버스에 붙이는 이름이며, 별도의 조사 분석 모드를 뜻하지 않습니다.

1. 질문 프레임에 판단 범위를 적습니다.필터 질문과 비교할 두 설명을 추가합니다. 각각이 유효할 수 있는 조건을 덧붙일 공간도 남깁니다.
2. 자료 하나마다 스티커 메모 하나를 만듭니다.E01~E06과 참여자 코드로 시작합니다. 짧은 인용이나 관찰, 출처를 적고 긴 맥락은 옆의 텍스트로 분리합니다.
3. 비교할 쌍을 수동으로 배치합니다.E01/E02와 E03/E04를 마주 놓고 ‘같은 회사’, ‘회사 전환’이라고 표시합니다. E05/E06은 아래쪽의 별도 미해결 쌍으로 둡니다. 조건을 살피기 전에 모든 카드를 찬성과 반대로 나누지 않습니다.
4. 근거와 해석을 연결합니다.연결선과 ‘지지’, ‘적용 범위 제한’, ‘맥락 부족’ 같은 문구를 사용합니다. E01과 E02는 반복 작업 해석에, E03과 E04는 맥락 변경 해석에 연결합니다. E05/E06은 확인되지 않은 조건에 대한 질문에 연결해 둡니다.
5. 작은 후속 확인 표를 추가합니다.미답 질문, 필요한 관찰, 담당자, 검토 시점을 열로 만듭니다. 사람이 직접 관리하는 조사 메모이며, 자동 업무 배정이나 알림이 아닙니다.
6. 출처 검토를 요청합니다.공유하기 전에 보드 접근 권한을 확인하세요. 세션에 참여한 동료에게 카드가 실제 내용을 정확히 담았는지 댓글을 부탁합니다. 해석에 관한 이견은 해당 설명 옆에 남기고 원문 인용은 바꾸지 않습니다.

색뿐 아니라 글도 사용하세요. 파란 카드라는 점만으로 관찰임을 알게 해서는 안 됩니다. 보드가 복잡해지면 논쟁 중인 쌍을 중심에 남기고 긴 출처 목록을 옆으로 옮깁니다. 독자가 색이나 선의 뜻을 추측하지 않고도 주장에 연결된 근거를 따라갈 수 있어야 합니다.

5. 해석을 바꿀 수 있는 후속 확인 선택하기

‘인터뷰를 더 한다’는 계획만으로는 차이가 풀리지 않습니다. 무엇을 관찰해야 하며 가능한 결과가 설명을 어떻게 바꿀지 적으세요.

사례 보드에서는 조사 담당자 마야가 다음 조사 세션 전까지 첫 번째 확인에 사용할 두 과제를 준비합니다. 두 번째 확인은 엔지니어 레오가 재현 단계를 기록하고 마야와 검토합니다. 담당자를 정하면 다음 행동이 구체적이 되지만 현재 해석이 더 확실해지는 것은 아닙니다.

‘더 똑똑한 필터를 원하시나요?’라고 묻지 마세요. 해결책을 먼저 제시하면 쉽게 동의를 얻을 수 있습니다. 무엇을 했고, 어떤 값이 남으리라 예상했으며, 보고서를 쓰기 전에 무엇을 확인했는지 보여 달라고 요청하세요.

제품 논의에 가져갈 내용

이제 보드에서 더 좁고 구체적인 설명을 도출할 수 있습니다.

이번 조사에서는 한 회사 안에서 보고서를 반복하는 경우와 고객사를 전환하는 경우에 필터 재사용에 대한 기대가 달랐다. 현재 회사 안에서 필터를 명시적으로 재사용하는 방법을 검토하되, 회사 전환을 분명히 보여 줄 필요가 있다. P03의 날짜 필터 동작 원인은 아직 확인되지 않았다.

모든 필드를 유지하라는 권고가 아니며, 회계 보조 담당자나 컨설턴트가 모두 똑같이 행동한다는 증거도 아닙니다. E01~E06과 예정된 확인 두 가지를 이 설명에 연결해 두세요. 확인 전에 설계 결정을 내려야 한다면 팀이 어떤 불확실성을 받아들이는지 기록하고 다시 검토할 수 있는 변경을 선택합니다.

다음 검토에서는 논쟁이 된 쌍부터 여세요. 새 관찰을 옆에 추가하고 그 내용이 뒷받침할 때만 해석을 수정합니다. 유용한 에비던스 월에는 팀의 생각을 바꾸게 할 결과가 들어올 자리가 남아 있습니다.