점수 일관성

TOEIC 점수는 일관되고 신뢰할 수 있습니다. TOEIC 연구 프로그램의 연구에 따르면 점수는 언어 능력과 관련된 요인에만 의해서만 영향을 받도록 합니다. 점수 일관성 또는 신뢰성을 평가할 때는 시험 문항, 시험 양식, 시험 일정, 시험 진행 및 평가자 등 여러 측면이 고려됩니다.

재설계된 TOEIC 브리지® 테스트를 위한 현장 연구 통계 분석

이 논문은 재설계된 TOEIC 브리지 시험 개발에 기여한 현장 연구 결과를 보고합니다. 통계 분석은 재설계된 TOEIC 브리지 시험 점수가 일관되고, 시험 점수가 기초부터 중급 수준의 영어 능력의 의미 있는 지표임을 뒷받침하는 초기 증거를 제공합니다.

새로운 언어 능력 평가의 품질과 사용에 대한 근거 제시: 재설계된 TOEIC 브리지® 테스트의 타당성 논거

이 논문은 재설계된 TOEIC 브리지 시험에 대한 "타당성 논증"을 요약합니다. 타당성 논증은 점수 일관성, 타당성 및 공정성, 적절한 검사 사용 및 긍정적 영향에 관한 네 가지 주요 주장으로 구성됩니다; 이 모든 것이 측정 품질과 시험 점수의 의도된 용도에 대한 일관된 서사를 제공합니다. 타당성 논증에서 제시된 주장과 뒷받침 증거를 고려함으로써, 독자들은 재설계된 TOEIC 브리지 테스트가 자신의 상황에 적합한지 더 잘 평가할 수 있을 것입니다.

TOEIC® 청취 및 독해 시험 품질을 지원하기 위한 점수 변화 패턴 모니터링

TOEIC 프로그램과 같은 대규모 고위험 시험 프로그램에서는 일부 응시자가 시간에 걸쳐 여러 번 시험을 치르기도 합니다. 이른바 '반복기'의 점수 변화 패턴은 검사의 전반적인 품질(예: 신뢰성, 타당성, 의도된 용도)을 지지하는 데 분석될 수 있습니다. 이 연구는 앞서 언급한 점수 변화 패턴을 검토하여 TOEIC^® 듣기 및 읽기 시험 점수의 신뢰성과 타당성을 평가하는 것을 목표로 하였습니다.

하위 그룹 간 영어 능력 측정: 점수 형평성 평가를 활용한 시험 공정성 평가

영어 능력 평가는 타겟 시험 집단을 대상으로 설계되었으며, 다양한 인구통계학적, 사회문화적, 교육 배경을 가진 응시자를 포함할 수 있습니다. 시험은 공정하다고 가정하며, 다양한 응시자 하위 그룹이 얻은 점수는 동일한 의미를 가집니다. 시험 공정성을 평가하는 한 가지 방법은 각 하위 그룹별로 연계된 시험을 만들어 해당 시험의 점수를 원래 시험 점수와 비교하는 것입니다.

ETS가 TOEIC® 말하기와 작문 시험 응답을 어떻게 채점하나요

일반적으로 인간 평가자가 자동 시스템보다 더 넓은 언어 수행 범위를 평가할 수 있기 때문에 말하기 및 쓰기 시험 채점에 사용됩니다. 이 논문은 ETS가 교육, 인증, 체계적인 행정 및 통계 모니터링 절차를 통해 TOEIC 말하기 및 작문 시험에서 인간 평가자들의 점수 신뢰성과 일관성을 어떻게 보장하는지 설명합니다.

TOEIC® 스피킹 점수를 TOEIC® 듣기 점수로 연결

시험 프로그램에서는 시험 양식의 과도한 노출을 방지하고 응시자가 시험 내용을 미리 알게 되는 가능성을 줄이기 위해 여러 행정 기관에 걸쳐 여러 형태의 시험을 사용합니다. 대체 형태의 통계적 난이도에 약간의 차이가 있을 수 있기 때문에, 시험 점수 연동(test score linking)이라는 통계 절차가 이러한 난이도 차이를 조정하여 시험 형식 간 비교 가능성을 높이는 데 흔히 사용되어 왔습니다.

응시자의 배경 정보를 활용한 TOEIC® 청취 및 독해 시험 성과를 행정 전반에 걸쳐 모니터링하기

TOEIC 듣기 및 읽기 시험의 채점 과정에는 다양한 시험 및 시험 시행 간에 점수가 일관되게 유지되고 기술 해석이 공정하도록 보장하는 모니터링 절차가 포함되어 있습니다. 본 연구는 시험 응시자의 배경 정보를 활용하여 여러 유형의 모니터링 절차를 강화할 가능성을 탐구합니다. 분석 결과는 일부 배경 변수가 학업 간 시험 성과 모니터링을 용이하게 하여 TOEIC 청취 및 읽기 시험의 품질 관리 절차를 강화하고 점수 일관성에 대한 증거를 강화할 수 있음을 시사했습니다.

TOEIC® 말하기 및 작문 시험 점수 평균의 안정성 평가

교육 시험에서는 점수 척도의 일관성을 유지하고 시간에 따른 점수 평균의 변동 원인을 이해하는 것이 매우 중요합니다. 이를 통해 시험 응시자의 능력에 대한 해석이 각 행정 기관(또는 형태)에 따라 비교 가능하도록 돕습니다. 통계적 절차를 사용하여 본 연구는 TOEIC 스피킹 및 쓰기 시험에서 보고된 점수의 일관성을 조사했습니다.

재설계된 클래식 TOEIC® 듣기 및 독해 시험에서 내용, 문항 통계, 시험 응시자 성과 비교

이 논문은 고전과 2006년에 개정된 TOEIC 리스닝 및 리딩 테스트의 내용, 신뢰성, 난이도를 비교합니다. 재설계된 시험은 현재 언어 능력 모델을 더 잘 반영하기 위해 약간 다른 문항 유형을 포함했지만, 각 버전에서 유사한 것으로 평가되었습니다.

TOEIC® 스피킹 테스트의 확장 문항 형식에 대한 통계 분석

테스트 프로그램은 평가 결과를 주기적으로 검토하여 시험 문항이나 과제가 실제 활동과 잘 맞는지 확인해야 합니다. 이러한 이유로, 의사소통 언어 학습을 더 잘 지원하고 암기와 기타 시험 전략의 사용을 억제하기 위해, ETS는 2015년 5월 TOEIC^® 스피킹 시험의 일부 문항 형식을 확장했습니다.

업데이트된 TOEIC® 청취 및 읽기 시험에 대한 통계 분석

시험이 응시자의 요구를 계속 충족시키고 점수를 매기도록 하기 위해서는 시험 프로그램이 주기적으로 평가를 재검토하는 것이 중요합니다. 이러한 이유로, 영어의 끊임없이 변화하는 사용과 개인들이 글로벌 직장 및 일상생활에서 일반적으로 소통하는 방식을 따라잡기 위해, 2016년 5월에 업데이트된 TOEIC 리스닝 앤 리딩 시험이 설계되어 처음 출시되었습니다.

평가와 과제 간 TOEIC® 스피킹 점수의 일관성

이 연구는 TOEIC 스피킹 점수의 일관성을 조사합니다. 이 분석은 일반화 가능성 이론에 기반한 방법론을 사용하여 연구자들이 평가 절차의 측면(즉, 평가자, 과제)이 점수에 미치는 영향을 어느 정도 조사할 수 있게 합니다. 이 결과는 TOEIC 스피킹 점수가 일관된다는 주장을 뒷받침하는 증거를 제공합니다.

TOEIC® 말하기 및 작문 시험을 위한 개별 평가자 성과 모니터링

이 논문은 개별 평가자 성과를 모니터링하고 전체 점수 질을 향상시키기 위해 TOEIC 말하기 및 작문 시험에서 구현된 절차를 설명합니다. 이러한 다면적이고 신중하게 개발된 절차들은 인간의 오류 가능성을 최소화하여 TOEIC 시험의 점수 체계와 신뢰성에 기여합니다.

대체 양식: TOEIC® 말하기 및 작문 시험의 시험-재시험 신뢰도 및 시험 점수 변경

점수의 신뢰성 또는 일관성은 여러 방법으로 검토할 수 있는데, 예를 들어 동일한 시험 응시자의 점수가 서로 다른 시험 양식 간에 일관되는(이른바 '동등한 형태 신뢰도'), 시험 기회에 따라 차이가 있는('시험-재시험 신뢰성') 등이 포함됩니다. 이 연구는 1–30일, 31–60일, 31–60일과 같은 다양한 시험 양식에서 TOEIC 말하기 및 쓰기 점수의 일관성을 조사했으며, 시험 점수가 비교적 높은 등가 형태의 시험-재시험 신뢰도를 보였음을 발견했습니다.

TOEIC® 말하기 및 작문 파일럿 연구를 위한 통계 분석

이 논문은 TOEIC 말하기 및 작문 시험 개발에 기여한 파일럿 연구 결과를 보고합니다. 시험 점수 신뢰도 분석 결과, 평가자 간 신뢰도(여러 평가자가 점수에 동의하는 경우)와 내부 일관성(동일 시험 문항 간 상관관계를 기반으로 한 척도) 등 여러 유형의 점수 일관성이 발견되었습니다.

재설계된 TOEIC® 청취 및 읽기 시험의 현장 연구 결과

이 논문은 2006년 재설계된 TOEIC 리스닝 및 리딩 시험의 현장 연구 결과를 설명하며, 문항 및 시험 난이도, 신뢰성, 고전적 TOEIC 듣기 및 읽기 시험과의 상관관계 분석을 포함합니다. 이 결과는 2010년 Liao, Hatrak, Yu의 또 다른 비교 연구와 일치하는데, 이 연구는 재설계된 시험의 신뢰성에 대한 증거를 발견했고, 재설계된 시험의 점수가 고전적인 TOEIC 듣기 및 읽기 시험 점수와 유사하게 해석되고 활용될 수 있음을 시사했습니다.