문항 품질 검사
4지선다 문항은행을 올리면, 내용을 모르는 응시자도 맞힐 수 있게 만드는 찍기 단서를 통계로 잡아 드립니다. 에이전틱스가 자체 문항 1,157개를 관리하는 데 쓰는 것과 같은 측정입니다.
파일은 서버로 전송되지 않습니다 — 분석은 전부 이 브라우저 안에서 끝납니다.
1. 문항 파일 넣기
CSV 파일을 올리거나, 엑셀에서 범위를 복사해 아래 칸에 붙여 넣으세요. 붙여 넣은 엑셀 데이터는 탭 구분 텍스트로 들어오며 그대로 읽힙니다. 파일은 서버로 전송되지 않고 이 브라우저 안에서만 처리됩니다.
자주 묻는 질문
왜 이런 검사가 필요합니까?
객관식 문항은 집필 습관이 표면에 단서를 남깁니다. 정답만 길게 쓰거나, 정답만 조건이 붙은 복합 문장으로 쓰거나, 특정 어미를 정답에만 쓰는 식입니다. 이런 단서는 집필 지침으로 막히지 않고 사후 측정으로만 잡힙니다 — 저희가 1,157문항을 만들며 실측한 결론입니다. 실제로 쉼표 개수 하나로 75%를 맞힐 수 있던 은행도 있었습니다.
무엇을 측정합니까?
세 층입니다. ① 특징별 정답률 — 절대화 표현, 길이, 어휘 중복 등 11가지 특징 각각에 대해 그 특징을 가진 보기가 정답인 비율을 재고, 4지선다 기대값 25%에서 우연으로 설명되지 않을 만큼(|z| ≥ 3.0) 벗어나면 단서로 판정합니다. ② 어미 분포 — 보기 끝 2~4글자별 정답률을 같은 기준으로 봅니다. ③ 찍기 실효성 — 내용을 전혀 모르는 응시자가 길이 전략이나 어미 사전확률 전략으로 실제 몇 점을 얻는지 계산합니다.
어미 전략의 기대치가 25%가 아닌 이유는 무엇입니까?
어미 통계는 리브-원-아웃 교차검증으로 냅니다. 자기 문항을 통계에서 뺀 뒤 찍게 해야, 같은 데이터에 맞춘 값을 실력으로 착각하지 않습니다. 이 방식은 정답 쪽 표본을 깎는 특성이 있어 신호가 없어도 25%보다 낮게 나옵니다. 그래서 정답 위치만 무작위로 섞은 같은 구조의 은행 200개를 만들어 그 평균과 비교합니다 — 그 초과분이 실제 단서입니다.
올린 문항은 어디에 저장됩니까?
저장되지 않습니다. 올리신 문항 데이터는 어떤 네트워크 요청에도 실리지 않습니다 — 파싱과 분석이 전부 이 브라우저 안에서 끝나고, 그 코드는 문항을 밖으로 보내는 어떤 호출도 하지 않습니다. 개발자 도구의 네트워크 탭을 보시면 사이트 공통 방문 통계(/api/analytics — 누른 버튼 이름과 머문 시간만 담습니다) 외에는 아무 요청도 없고, 그 통계 요청에도 문항 내용은 들어가지 않습니다.
판정 기준은 어떻게 정했습니까?
특징과 어미는 |z| 3.0입니다. 어미 종류만 20가지 넘게 훑기 때문에 느슨한 기준을 쓰면 순전한 우연이 매번 두세 개씩 걸립니다. 쉼표 최다 찍기는 대상 문항이 전체의 일부라 표본이 작아, 25%가 아니라 40%를 상한으로 봅니다. 저희는 같은 측정을 저희 문제은행에 CI 관문으로 걸어 두고 있습니다.
출제 조직을 위한 안내
사내 자격·평가 문항을 정기적으로 출제하신다면, 출제 주기에 이 검사를 넣는 방법과 문항 개선 방향에 대해 도움을 드릴 수 있습니다. 문의는 운영사 (주)스테이지로 보내 주세요.