글로벌 시대에 우리나라 대학의 국제경쟁력을 강화해야 한다는 점에는 이견이 없을 것이다. 하지만 세계 대학 순위가 곧 그 대학의 국제경쟁력을 의미한다고 단언할 수 있을까? 필자는 이러한 문제의식에서 THES-QS 세계 대학평가의 한계점을 살펴보고자 한다.

첫째, THES-QS 세계 대학평가는 동료평가를 비롯한 6개의 지표를 활용하고 있다. 전 세계 다양한 고등교육시스템을 상호 비교하자면 사용 가능한 자료가 제한적일 수밖에 없을 것이다. 하지만 6개의 평가지표로는 대학 전반을 평가하기에 한계가 있음에 틀림없다.

둘째, 평가지표의 가중치에도 이견이 있을 수 있다. THES-QS 세계 대학평가는 동료평가 및 고용담당관 평가에 의한 정성적 지표 자료의 비중이 50%인데, 이와 같이 평가자의 주관에 의존하는 설문조사의 비율이 높은 것은 평가 결과의 신뢰성을 저하시킨다는 것이다.

셋째, 평판도 설문에 참여사는 조사자가 일부 영어권 나라에 편중됨으로써 평가가 영국과 미국 등 일부 국가에 유리한 반면 비영어권 국가는 불리하다는 비판도 제기 된다.

넷째, THES-QS 세계 대학평가의 점수 산출 방법에 이의를 제기할 수 있다. THES-QS 세계 대학평가는 각각의 지표별로 최우수 대학에 100점을 부여하고 나머지 대학은 상대적 비율에 따라 점수를 산출하며, 가중치를 곱하여 총점을 다시 산출한 후 총점이 가장 높은 대학에 100점을 부여하고 나머지 대학은 상대적 비율에 따라 점수를 산정한다. 대학교육협의회의 이영학 선임연구원에 따르면, 이러한 100점 만점의 점수산출 방식은 사실상 원점수의 단순합산이기 때문에 개별 지표들의 척도가 지닌 차이를 반영하지 못한다는 것이다.

다섯째, 교육중심대학 및 소규모 특성화 중심대학 등은 높은 순위에 랭크되기 어렵다. 다시 말하면 THES-QS 세계 대학평가는 대학유형별 특수성에 민감하지 못하다.

여섯째, 대학이 제출한 자료에 대한 신뢰도에 문제를 제기할 수 있다. 실제 몇 년 전 어떤 대학이 제공한 자료가 부풀려졌다는 의혹이 제기 되기도 했다. 제출 자료에 대한 공인된 확인절차가 없기 때문이다.

일곱째, 평가결과 발표 시에도 개별 대학의 점수만을 제공하고 점수 산출의 근거가 된 지표별 통계치를 공개하지 않음으로써, 순위 내 대학의 부문별·지표별 세계 속 상대적 위치는 알 수 있으나, 순위 향상을 위한 정책수립에 필요한 정보를 제공해 주지 못한다는 단점이 있다. 상대적 위치로서는 어떤 요소에 의해 경쟁력이 좌우되는지를 알 수 없기 때문이다.

대교협 대학평가정책포럼(2007.7.12)에 참석한 QS사의 벤소터 수석 조사관도 THES-QS 세계 대학평가가 교육의 질적 수준을 제대로 반영하지 못하는 한계가 있다고 밝혔다. 또한 호주 대학의 경우에서처럼 평가기관에 대한 대학의 홍보가 순위 결정에 영향력이 있음을 인정했다.

세계대학평가 담당 편집장 마틴 잉스 기자의 일간신문 인터뷰 기사와 QS사(社)의 웹사이트 상의 기사 (http://www.topuniversities.com/worlduniversityrankings/)를 참고해 보면 평가 담당 기관조차도 THES-QS 세계 대학평가에 한계점이 있다는 것을 시인함을 알 수 있다. 그러나 마틴에 따르면, 세계 대학평가의 목적은 학생과 학문의 국제적 교류가 더 없이 활발한 대학의 국제화 시대에 있어서, 각 대학은 세계 속의 자신의 위치를 성찰하고 발전의 지향점을 세우는 데에, 각국 교육당국은 대학 발전을 위한 정책을 세우는 데에 필요한 참고자료를 제공하는 데 있다는 것이다. 그러면서 그는 유럽이나 미국은 대학 순위 평가를 참고 자료로 여기는 반면 한국은 순위가 전부인 양 집착한다고 한국의 순위지향주의를 지적했다. 

사실 다양한 대학을 제한된 지표로서 평가하는 것은 한계가 있기 마련이다. 대부분의 대학평가는 대학을 총체적으로 평가할 수 있는 지표를 설정하기보다는 현실적으로 자료 수집이 비교적 용이한 지표에 의존하고 있다. 따라서 어떤 순위든지 그것을 이해하고 사용하기 위해서는 반드시 그 순위시스템에 대한 충분한 이해가 전제되어야 한다고 생각한다.

하지만 정말 중요한 것은 주체적이고 자각적인 각 대학의 자기 평가가 아닐까? 대학의 설립 목적과 역량에 맞는 목표를 설정하고, 내부 진단을 통한 자체적 발전 지표를 설정하는 것만이 진정 경쟁력 있는 세계적 대학이 될 수 있는 길인 것이다.