TOEIC 점수 해석의 타당성과 공정성

이 논문은 네 가지 의사소통 기술 모두를 측정하기 위해 재설계된 TOEIC 브리지 평가 설계의 동기, 평가의 목적, 그리고 기초부터 중급 학습자를 위한 일상 상황에서의 영어 듣기, 읽기, 말하기, 쓰기 능력을 어떻게 정의했는지를 설명합니다. 이 정보는 시험 개발과 이후 타당성 연구의 기초를 제공합니다.

더 읽기

재설계된 TOEIC 브리지 시험은 근거 중심 설계(ECD)라는 평가 개발 방법론을 사용하여 개발되었습니다. 이 논문은 ECD가 시험 응시자의 기초에서 중급 영어 능력에 대한 증거를 도출하는 과제 설계에 어떻게 사용되었는지, 그리고 시험 개발 과정에서 얻은 다양한 데이터 출처가 문항 및 시험 설계 결정에 어떻게 영향을 미쳤는지 문서화합니다.

더 읽기

이 논문은 재설계된 TOEIC 브리지 시험 개발에 기여한 현장 연구 결과를 보고합니다. 통계 분석은 재설계된 TOEIC 브리지 시험 점수가 일관되고, 시험 점수가 기초부터 중급 수준의 영어 능력의 의미 있는 지표임을 뒷받침하는 초기 증거를 제공합니다.

더 읽기

이 논문은 재설계된 TOEIC 브리지 시험 점수와 언어 능력 자기 평가 간의 관계를 조사한 두 가지 연구를 설명합니다. 결과는 시험 점수가 언어 능력의 의미 있는 지표이며, 시험 점수가 유럽 공통 언어 기준(CEFR)과 같은 언어 능력 기준에 따라 언어 능력 수준을 의미 있게 구분하는 데 사용될 수 있다는 주장을 뒷받침하는 증거를 제공합니다.

더 읽기

이 연구는 TOEIC^® 스피킹 시험 점수가 국제 직장 전문가들이 평가하는 시험 응시자의 의사소통 효과에 대한 좋은 예측 변수인지 조사했습니다. 10개국의 전문가들이 다양한 의사소통 시나리오에서 응시자들의 의사소통 효과를 평가하는 설문조사에 참여했습니다. 이 결과는 TOEIC 스피킹 시험 점수가 전문가들이 의사소통 효과를 인식하는 능력에 대한 의미 있는 평가임을 입증합니다.

더 읽기

이 연구는 TOEIC 작문 시험 점수가 국제 직장 전문가들이 평가하는 시험 응시자의 글쓰기 능력의 "기능적 적합성"(또는 의사소통 효과성)을 좋은 예측 변수로 하는지 조사했습니다. 10개국의 전문가들이 다양한 의사소통 상황에서 응시자의 글쓰기 기능적 적정성을 평가하는 설문조사에 참여했습니다. 이 결과는 TOEIC 글쓰기 시험 점수가 전문가들이 글쓰기의 기능적 적정성을 어떻게 인식하는지와 비교하는 의미 있는 숙련도 평가임을 입증합니다.

더 읽기

이 논문은 재설계된 TOEIC 브리지 시험에 대한 "타당성 논증"을 요약합니다. 타당성 논증은 점수 일관성, 타당성 및 공정성, 적절한 검사 사용 및 긍정적 영향에 관한 네 가지 주요 주장으로 구성됩니다; 이 모든 것이 측정 품질과 시험 점수의 의도된 용도에 대한 일관된 서사를 제공합니다. 타당성 논증에서 제시된 주장과 뒷받침 증거를 고려함으로써, 독자들은 재설계된 TOEIC 브리지 테스트가 자신의 상황에 적합한지 더 잘 평가할 수 있을 것입니다.

더 읽기

이 논문은 TOEIC 시험 점수가 글로벌 직장 환경에서 응시자들의 영어 의사소통 능력을 유효한 지표로 제공하기 위해 수행된 시험 개발 및 연구 프로젝트에 대한 비기술적 개요를 제공합니다.

TOEIC 시험의 주요 가치는 그 타당성에 있으며, 이는 시험이 우리가 주장하는 대로 얼마나 잘 작동하는지로 정의할 수 있습니다.

더 읽기

시험 점수를 검토한 결과, TOEIC 시험은 서로 다른 관련 기술을 측정하며, 이 두 시험을 종합하면 영어 능력에 대해 꽤 완전한 그림을 제공한다는 것을 발견했습니다. 이 발견은 언어 능력 평가에 있어 네 가지 기술 접근법이 매우 중요하다는 추가 증거를 제공합니다.

더 읽기

영어 능력 평가는 타겟 시험 집단을 대상으로 설계되었으며, 다양한 인구통계학적, 사회문화적, 교육 배경을 가진 응시자를 포함할 수 있습니다. 시험은 공정하다고 가정하며, 다양한 응시자 하위 그룹이 얻은 점수는 동일한 의미를 가집니다. 시험 공정성을 평가하는 한 가지 방법은 각 하위 그룹별로 연계된 시험을 만들어 해당 시험의 점수를 원래 시험 점수와 비교하는 것입니다.

더 읽기

시험 점수의 의미를 더 잘 이해하고 의사결정을 용이하게 하기 위해, 점수 사용자는 두 가지 다른 시험 점수가 어떻게 연관되어 있는지 이해해야 할 수 있습니다. 두 가지 다른 시험의 점수 간 관계는 보통 두 시험 점수 간의 대응 관계를 나타내는 '코코던스 테이블'에 요약됩니다. 안타깝게도 일부 콘코던스 표는 연구 지원 없이 제작 및 배포되어 응시자에 대한 부정확하고 불공정한 결정으로 이어질 수 있습니다.

더 읽기

이 연구는 TOEIC 리스닝 및 리딩 테스트에서 수행 성과를 가장 잘 설명하는 통계 모델이 무엇인지 결정하기 위해 '요인 분석'이라는 통계 기법을 사용했습니다. 연구자들은 읽기 능력과 듣기 능력을 별개의 능력으로 표현하는 모델(2요인 모델)이 점수 해석 방식과 일치하여 수행 수행을 가장 잘 설명한다는 것을 발견했습니다.

더 읽기

시험 프로그램에서는 시험 양식의 과도한 노출을 방지하고 응시자가 시험 내용을 미리 알게 되는 가능성을 줄이기 위해 여러 행정 기관에 걸쳐 여러 형태의 시험을 사용합니다. 대체 형태의 통계적 난이도에 약간의 차이가 있을 수 있기 때문에, 시험 점수 연동(test score linking)이라는 통계 절차가 이러한 난이도 차이를 조정하여 시험 형식 간 비교 가능성을 높이는 데 흔히 사용되어 왔습니다.

더 읽기

전통적으로 연구자들은 언어 시험의 과제가 실제 세계에서 사용되는 과제와 얼마나 일치하는지를 나타내기 위해 '진정성'이라는 용어를 사용해 왔으며, 진정성은 과제와 시험에서 바람직한 특성입니다. 이 백서는 TOEIC 스피킹 테스트의 여러 문제 형식이 어떻게 더 다양한 실제 상황을 포함하도록 확장되었는지 설명합니다.

더 읽기

이 논문은 네 가지 기술 언어 테스트가 누군가가 영어로 의사소통할 수 있는지 평가하는 가장 좋은 방법임을 설명하며, 이 접근법이 어떻게 다음을 가능하게 하는지 설명합니다:

• 시험 응시자에게 더 공정한 평가 방식을 제공하는 결과를 낳습니다
• 테스트 사용자의 결정 품질을 향상시킵니다
• 의사결정자, 교사, 학습자에게 더 긍정적인 영향을 창출합니다

더 읽기

TOEIC 리스닝 테스트는 글로벌 직장과 관련된 항목이나 과제를 포함하며, 다양한 진정성 있는 맥락을 포함합니다. 시험 양식의 수요가 점점 늘어남에 따라, TOEIC 리스닝 테스트의 중요한 목표 중 하나는 다양한 맥락에서 많은 문항을 유지하여 문항 생성의 효율성을 높이는 것이었습니다.

더 읽기

이 연구는 특정 언어 기술(예: 말하기)에 대한 숙련도를 해당 기술에 해당하는 TOEIC 시험 점수뿐만 아니라 다른 기술에 대한 TOEIC 시험 점수를 고려하여 더 잘 추정할 수 있는지 조사했습니다. 결과는 이 주장을 뒷받침하며, 네 가지 기술 TOEIC 시험 점수를 함께 합치는 것이 단독 기술보다 영어 능력의 더 타당한 측정 수단임을 시사합니다.

더 읽기

이 연구는 다음을 조사합니다:

• TOEIC 시험 점수가 한 능력 모두에 걸친 응시자들의 영어 능력 자기 평가와 상관관계가 어느 정도인지에 대한 정도입니다
• 한 영어 능력(예: 읽기)이 여러 TOEIC 시험 점수(즉, 듣기, 말하기, 쓰기)를 통해 더 정확하게 추정하거나 예측할 수 있는지에 대해

더 읽기

차등 문항 기능(DIF)은 예상치 못하게 편향된 문항이나 과제를 식별하기 위해 사용되는 통계 절차로, 특정 시험 그룹에 부적절하게 유리하게 작용하는 경우를 식별합니다. 말하기 및 쓰기 테스트의 도전 중 하나는 수행 기반 또는 '구성적 응답' 테스트를 분석하는 데 사용할 수 있는 검증되고 실용적인 DIF 기법이 부족하다는 점입니다. 이 논문은 여러 기법을 조사하고 점수 해석의 공정성을 보장하기 위해 연구가 어떻게 진행되고 있는지 보여줍니다.

더 읽기

이 논문은 고전과 2006년에 개정된 TOEIC 리스닝 및 리딩 테스트의 내용, 신뢰성, 난이도를 비교합니다. 재설계된 시험은 현재 언어 능력 모델을 더 잘 반영하기 위해 약간 다른 문항 유형을 포함했지만, 각 버전에서 유사한 것으로 평가되었습니다.

더 읽기

근거 중심 설계(ECD)는 평가가 무엇을 측정하고 시험 점수를 기반으로 기술 해석을 지원하는지 명확히 명확히 하는 평가 개발 방법론입니다. 이 논문은 TOEIC 말하기 및 작문 시험 개발에 사용된 ECD 과정을 설명합니다. 시험 설계 과정을 통해 수집된 증거는 TOEIC 스피킹 및 쓰기 시험 점수 해석의 타당성을 뒷받침하는 기초 자료를 제공했습니다.

더 읽기

이 논문은 TOEIC 말하기 및 작문 시험 개발에 기여한 파일럿 연구 결과를 보고합니다. 시험 점수 신뢰도 분석 결과, 평가자 간 신뢰도(여러 평가자가 점수에 동의하는 경우)와 내부 일관성(동일 시험 문항 간 상관관계를 기반으로 한 척도) 등 여러 유형의 점수 일관성이 발견되었습니다.

더 읽기

시험이 응시자의 요구를 계속 충족시키고 점수를 매기도록 하기 위해서는 시험 프로그램이 주기적으로 평가를 재검토하는 것이 중요합니다. 이러한 이유로, 영어의 끊임없이 변화하는 사용과 개인들이 글로벌 직장 및 일상생활에서 일반적으로 소통하는 방식을 따라잡기 위해, 2016년 5월에 업데이트된 TOEIC 리스닝 앤 리딩 시험이 설계되어 처음 출시되었습니다.

더 읽기

2006년 TOEIC 듣기 및 읽기 시험 재설계와 같은 시험 재설계 프로젝트 이후에는 시험 점수가 여전히 의미 있게 해석될 수 있다는 증거를 제공하는 것이 중요합니다. 이 연구는 TOEIC 리스닝 및 리딩 시험 재설계 점수와 응시자들이 자신의 영어 능력에 대해 느끼는 관계 간의 관계를 조사했습니다. 연구진은 시험 점수와 응시자의 인식 사이에 중간 정도의 상관관계를 발견하여, 재설계된 TOEIC 리스닝 및 독기 시험 점수가 영어 능력을 의미 있게 나타내는 지표임을 입증했습니다.

더 읽기

이 연구는 TOEIC 브리지 점수를 응시자들이 영어로 일상적인 언어 과제를 수행하는 자신의 자기 평가와 비교하고자 했습니다. 결과는 시험 점수가 응시자들의 자기 평가와 좋은 상관관계를 보였음을 시사하며, TOEIC 브리지 점수가 영어 능력의 유효하고 공정한 지표임을 뒷받침하는 추가 증거를 제공합니다.

더 읽기

본 연구는 TOEIC 리스닝 및 리딩 점수와 TOEIC 스피킹 및 쓰기 점수 간의 관계를 조사하여 리스닝 및 리딩 점수가 스피킹 및 라이팅 점수의 예측 변수로 사용되어야 하는지, 또는 그 반대가 되는지 여부를 판단합니다. 연구 결과는 측정된 기술에 대한 시험 점수의 타당성을 지지합니다(예: 듣기 및 읽기 시험 점수는 듣기 및 읽기 기술에 대한 의미 있는 해석을 제공합니다).

더 읽기

이 연구는 TOEIC 말하기 및 쓰기 시험 점수와 학생들이 일상 영어 과제를 수행하는 능력에 대한 자기 평가를 비교하고자 했습니다. 연구진은 시험 점수와 자기 평가 사이에 비교적 강한 상관관계가 있다고 보고했습니다. 이 발견은 TOEIC 스피킹 및 쓰기 시험 점수가 영어 능력의 지표임을 뒷받침하는 추가 증거를 제공합니다. 이 연구는 Powers, Kim, Weng, Van Winkle(2009)로도 출판되었습니다.

더 읽기

척도 고정은 시험 점수를 점수 범위나 숙련도 수준으로 묶는 과정입니다. 통계적 방법과 전문가의 판단을 결합하여 각 숙련도 수준에서 응시자가 일반적으로 보여주는 기술과 지식을 설명합니다. 이 연구 보고서는 의미 있는 점수 해석을 용이하게 하는 TOEIC 청취 및 읽기 시험의 척도 고정 과정을 설명합니다.

더 읽기

이 보고서는 2016년 TOEIC 리스닝 및 리딩 시험을 업데이트하기 위한 프로젝트의 목표와 결과를 설명합니다. 특히 국제 직장 환경에서 영어를 통한 의사소통 사용은 지속적으로 진화하고 있습니다. 따라서 TOEIC 듣기 및 읽기 시험은 시험 내용이 직장과 일상생활에서의 최신 소통을 반영하는지 주기적으로 재검토하여 영어 능력에 대한 의미 있는 해석을 지원하고 영어 교수와 학습에 긍정적인 영향을 촉진합니다.

더 읽기

시간이 지남에 따라 언어 능력의 개념화가 현재 이론과 일치하고 시험 과제가 실제 과제를 반영하는지 시험 설계를 재검토하는 것이 중요해집니다. 이 보고서는 TOEIC 리스닝 및 리딩 시험의 목표, 이론적 정렬, 절차 및 결과를 개괄합니다.  

더 읽기

이 논문은 2006년 재설계된 TOEIC 리스닝 및 리딩 시험의 현장 연구 결과를 설명하며, 문항 및 시험 난이도, 신뢰성, 고전적 TOEIC 듣기 및 읽기 시험과의 상관관계 분석을 포함합니다. 이 결과는 2010년 Liao, Hatrak, Yu의 또 다른 비교 연구와 일치하는데, 이 연구는 재설계된 시험의 신뢰성에 대한 증거를 발견했고, 재설계된 시험의 점수가 고전적인 TOEIC 듣기 및 읽기 시험 점수와 유사하게 해석되고 활용될 수 있음을 시사했습니다.

더 읽기

이 연구는 TOEIC 브리지 점수와 교사들이 영어로 일상적인 언어 과제를 수행하는 시험 응시자들의 능력 평가를 비교했습니다. 저자들은 이러한 평가와 시험 점수 간에 중간 정도의 상관관계가 있다고 보고했으며, 이는 TOEIC Bridge 시험 점수가 영어 능력의 지표로서 타당하다는 증거를 뒷받침합니다.

더 읽기

이 연구는 TOEIC 브리지 점수가 영어 능력의 두 가지 측정 지표인 학생 자기 평가와 교사의 학생 평가 정도를 평가하고자 했습니다. TOEIC 브리지 점수는 이러한 측정과 중간 정도의 상관관계를 보였으며, 이는 TOEIC 브리지 점수가 영어 능력의 의미 있는 지표로 해석될 수 있음을 입증하는 타당성 증거를 제공합니다.

더 읽기

이 연구는 TOEIC 브리지 점수와 학생들이 자신의 영어 능력에 대한 평가 간의 관계를 조사했습니다. TOEIC 브리지 시험 점수는 자기보고한 읽기 및 듣기 능력과 상관관계가 있어, TOEIC 브리지 시험 점수가 영어 읽기 및 듣기 능력의 유효하거나 의미 있는 지표임을 입증했습니다.

더 읽기