TOEIC / 토익

The Test of English in International Communication, the TOEIC - it's practical, it's consistent, it's in results, but is it valid? An intelligent article (by Timothy M. Nall) I read recently suggests not. Here's a summary.

"영어에 의한 국제 전달 (통신?) 능력을 측정하기 위한 시험"(토익)은 실용적이고 일관하지만 근거가 확실한가? 티머씨 엠 놀로 쓰인 똑똑한 글은 근거가 확실하지 않음을 암시한다. 다음은 요점이다.

~~
The TOEIC is used to assess overall English proficiency in a business context. Especially by corporate employers of employees who are being considered for promotion or overseas assignments. Some corporate employers use the TOEIC incorrectly, by requiring their domestic employees (who do not use English on a regular basis) to obtain a certain score for promotion or raises.

토익은 업무배경에 따라 영어 능숙을 평가하기 위해 사용해진다, 특히 기업에 고용인에게는 승진이나 해외 할당을 줄지 생각볼 때. 어느 기업이 부정확하게 토익을 사용한다, (영어를 규칙적으로 쓰지 않는 ) 국내 고용인에게는 승진을 줄지 생각볼 때 요건으로 만든다.

~~
The register of the TOEIC is real-life, business-type English. The listening section is in a formal business register containing "a high frequency of idioms and relatively few polysyllabic words". The reading comprehension section assesses the examinee's knowledge of relatively formal English grammar.

토익의 언어 형태는 현실 업무형 영어다. 듣기 시험은 업무 언어형태이 있고 "성구가 많고 다음절어 상대적으로 근소하다." 독해 시험은 수험자들의 상대적으로 형식적인.형식뿐인 영어문법의 지식을 평가한다.

~~
The ELT which produces the test tries to validate the TOEIC by providing "its own rather extensive evidence" of how TOEIC scores match the scores given by other tests measuring "the same thing". Yet this method of validating a test assumes the other tests are valid and thus is of dubious validity itself.

이 시험을 만드는 ELT는 토익 점수가 다른 시험과 어떻게 비교하는지 보이는 "자신의 좀 광대한 증명"을 주기 의해서 토익이 옳다는 것을 증명해 보고 있다. 하지만 시험이 옳다는 것을 증명하는 이 반법은 ELT로 선택한 다른 시험도 옳다는 것이라고 가정한다. 그래서 의심스럽게 생각한다.

~~
It is important to note that the content of the test is valid only for the receptive skills of reading and listening. "We cannot blithely assume that validity is so commutative."

시험의 내용이 읽기와 듣기인 수용적 기능에만 과해선 근거가 확실하다."이 근거는 전달에 적용할 수 있을 거라고 부주의하게 생각할 수가 없다."

A fundamental assertion of the TOEIC test is that its scoring of the receptive skills of listening and reading has a high degree of validity with respect to examinees' proficiency in the productive skills of speaking and writing (ie. to predict productive communication in the workplace).

토익의 기본적인 주장 하나 이 시험의 점수가 (읽기와 듣기인 수용적 기능엔) 말하기와 쓰기인 생산적 기능에 밀접한 관련이 있다. 즉, 직장에서의 생산적인 통신을 예언하기 위한다.

The author "could not find any satisfactory and unbiased statistical examinations" to support this suggestion. On the contrary, evidence he quotes seems to support the "widely-held perception that the TOEIC score is not representative of productive skills".

필자가 이 주장을 뒷받침하는 "만족스럽고 편견이 없는 증명을 찾을 수가 없다." 그렇기는 커녕 그는 인용한 증명은 "토익 점수가 생산적인 기능을 보이지 못한다고 많은 사람이 생각하는 걸" 뒷받침하는 것 같은데.

~~
Washback (or Backwash) is the degree to which an instructional or assessment instrument affects the learning process - students' motivation and study habits, educators' curriculum and materials decisions, etc. It can be either negative or positive.

"워쉬배크"(이나 "배크워쉬")는 시험이나 교육방법이 학습 과정에 영향을 미치는 정도이다. 어마나 학생의 동기 부여와 공부습관, 교육자의 커리큘럼 선택와 교재 선택, 등등. 도움이 되 수도 있거나 파괴적일 수도 있다.

The most commonly observable effect of standardized tests such as TOEIC is the practice of "teaching to the test." This means that educators let the contents of the test shape their curriculum choices in order to secure higher test averages for their students.

토익 같은 표준화된 시험의 가장 흔히 관찰할 수 있는 결과는 "시험에 가르치기"라는 거다. 즉, 교육자는 시험의 내용이 커리큘럼 선택을 결정하는 것을 허가하는 말이다.

"Rather than learning the broad range of content and skills that the test is intended to assess, students simply learn the far smaller set of various test-taking strategies and specialized content that are expected to bolster their test scores." This may reduce emphasis on skills that require complex thinking or problem-solving and can mean gains in test scores without a parallel improvement in actual language ability. Students who want to do well rationally invest their time and money in test-oriented study materials or programs rather than a more holistic language-learning approach.

"넓은 내용과 능력들을 익히는 대신 학생들이 점수를 높이 들어 보기 위해 훨더 좁은 시험 전략과 전문의 내용만 공부한다." 이것은 복잡한 생각이나 문제해결이 필요하는 능력들의 중요를 줄이고 시험 점수를 늘리면서 현실의 언어 능력이 똑같게 늘리지 않을 수도 있다. 전체론적 언어교육보다는 시험을 잘 치고 싶을 학생들이 그들의 시간과 돈을 오히려 시험중심 공부책.언어과정에 들인다.

On balance, it seems the negative washback effects of "teaching to the test" outweigh any positive washback from motivation to do well on the test.

모든 것을 고려하여 보면 "시험에 가르치기"의 파괴적인 결과가 시험을 잘 칠 동기 부여보다 더 중요하다.

~~
Predictive validity is how well the test can accurately and consistently predict the testees' future performance. The TOEIC is "a good example of a well-constructed, norm-referenced, traditional multiple-choice test task, with no doubt high reliability, but extremely limited in the inferences it will allow about language knowledge". There is a telling absence of any mention of predictive validity in the TOEIC's technical documentation. Since the TOEIC's raison d'être is to predict employees' success at using English on the job, this omission raises some concerns.

예언적인 유효는 어느 정도로 시험이 정확하고 시종여일하게 수험자의 미래의 성과를 예언할 수 있는 것이다. 토익은 "잘 만들어지고 표준화하고 전통 선다형 시험이고 신뢰성 많지만 언어지식에 관해서 추론하기는 정말 어렵다. 그러한 시험의 좋은 예이다". 토익의 기술적인 서류에 보여주는 예언적인 유효의 없음이 있다. 토익의 존재이유가 직장에서의 영어 사용을 예언할 것이니까 이 없음이 걱정스럽다.

So, where Susan Giffert gives comments on the TOEIC scores:
수전 기펏이 토익 점수 설명하고:

990-860 Ability to communicate on a variety of topics,...
(990-860 다양한 화제에 통신할수 있고,...)
860-730 Ability to communicate in various situations...
(860-730 다얗한 상황에 통신할수 있고,...)
etc. / 등등

These are invalid as the test gives no provable indication of communicative ability.
토익이 통신적이 능력을 보이지 못해서 이 설명들은 타당성이 없다.

~~
The test has a lot of influence on business, education and government in several countries across the world. As such, its validity must be scrutinized closely.

The TOEIC's claims of reliability are sound. But "the overall implication is that reliability is less of a concern than validity. ... A test which reliably measures invalid results cannot be considered useful."

토익의 신뢰성 주장이 이론적으로 옳다. 하지만 "전체 함축은 신뢰성과 비해서 이론적으로 옳음이 더 중요한 문제다. ... 이론적으로 옳지 않는 결과를 신뢰적으로 주는 시험이 쓸모 있는 것으로 여겨질 수 없다."

~~
Giffert moves from the theoretical to the empirical, for this conclusion:
기펏이 이론에서 경험으로 가서 이 결론을 준다:

Both TOEFL and TOEIC test receptive skills (listening and reading) rather than productive skills (speaking and writing). It is possible for students to score very highly but not be able to use oral or written English in context. Many examinees become expert in taking language tests, but do not learn how to use the language. Therefore, the authors maintain that TOEFL and TOEIC tests operate in an "artificial reality."

토익도 토플도 (말하기와 쓰기인) 생산적 기능는 커녕 (읽기와 듣기인) 수용적 기능을 시험한다. 학생이 구두의 영어나 쓴 영어를 문맥에서 사용할 수 없이 아주 높은 점수를 받을 수는 있다. 많은 수험자가 언어시험을 치는 베테랑이 되지만 그 언어를 사용하는 방법은 익히지 않는다. 따라서 필자는 토익과 토플이 "인조 현실성"에선 작용하는 것이라고 주장한다.

The tests, when used alone, are valid and reliable in themselves, but not in a larger sense. Examinees who score well on these tests may have self-confidence in the language classroom, but using their language skills in the real world may be quite a different thing.

이 시험들만 사용하면 그 자체를 믿을만하고 옳다는 것이지만 더 넓은 세계에서 그렇지 않다. 이 시험에 좋은 점수를 받는 수험자들에게 언어교실에서 자신감이 있을지 모르지만 실제 세상에서는 그들이 언어 기능을 사용하는 것이 아주 다른 것일지도 모른다.

In theory, an examinee with a score of 650 would be expected to operate in a English-speaking business context better than a examinee with a score of 600. In the real world, examinees will be reading and generating faxes and reports, listening to and making presentations, and using the telephone. Examinees who excel in taking paper tests, yet are unable to use their language productively, will be at a loss in the real world.

이론상 600점수 있는 수험자보다 650점수 있는 수험자가 영어권 업무 문맥에서 더 잘 일할 기대한다. 실제 세상에서는 수험자들이 팩스와 보고서를 읽고 생기고는 구두 발표를 하고 듣고는 전화를 쓸 것이다. 종이 시험을 아주 잘 치지만 언어를 생산적으로는 못 하는 수험자들이 실제 세상에서는 어찌할 바를 모를 것이다.