중국 상하이 자오퉁대 평가는 주관성을 배제하고자 하는 각종 보완 장치에도 불구하고 한계점은 평가지표 구성과 이의 적용에 있다. 지난 호에서 언급한 바와 같이 평가지표로 사용되는 각종 자료들은 개별대학으로부터 제공된 자료들이 아니다. 세계적으로 공인된 자료들을 사용한다. 그러나 이의 선정과 적용에 있어서는 몇 가지 제한점이 발견된다.

노벨상이나 필즈 메달의 권위에 대해서는 이론의 여지가 없다. 그러나 이의 적용에 있어 시간에 따른 가중치가 달리 적용됨에도 불구하고, 1960년대부터 이의 실적을 적용하는 것은 무리가 있다고 할 수 있다. 학문의 특성상 과거의 전통이나 학풍은 무시될 수 없다.

그러나 과거의 명성이 현재의 능력을 반드시 대변한다고 할 수 없다. 아울러 노벨상이나 필즈 메달이 매우 상징적이고 중요한 업적임에도 불구하고, 이 상을 받을 수 있는 수가 매우 한정되어 있음 역시 인정해야 할 것이다. 노벨상이나 필즈 메달이 반드시 각 대학의 연구력 전반을 대표한다는 것은 무리가 있다. 노벨상 수상자나 필즈 메달에 필적할 만한 학문 분야별 수상 실적을 선정하여 평가지표에 편입되어야 할 것이다.

더불어, 노벨상이나 필즈 메달 수상자가 현재 재직 중인 곳을 평가 기준으로 삼지 않고, 수상 당시의 재직교가 어디였는지를 기준으로 하는 평가는 현재의 연구력 평가에 부적절하다.  교수의 이동이 점차 활발해지면서 각 학교는 얼마든지 연구력의 증진을 기대할 수 있다.

예를 들어, 프로 스포츠에서 각 구단이나 팀들이 우수 선수 영입을 위해 엄청난 돈을 투자하는 것은 각 팀의 능력을 제고하기 위해서이다. 신규로 대규모 투자 등을 통해 세계 교육 시장에서 성장하는 대학의 경우, 이를 좀 더 적절하게 반영할 평가 장치가 필요하다. 수상 당시 재직교의 반영은 이와 관계없이 과거의 명성에 대한 반영이므로 이를 적절히 나타내주지 못한다는 문제점이 있다. 따라서 수상 당시의 재직 대학이 중요하다기 보다는 현재 소속되어 있는 대학들이 어디인지를 보여주는 것이 좀더 정확한 지표 사용방법이라 여겨진다.

그동안 언어 장벽이나 교통수단의 미발달로 인해 교육시장이 분절되어 있다가 세계화에 따라 교육시장이 점차 세계적으로 단일해 짐에 따라 점차 교육 시장도 승자독식이 가능한 형태로 변화하고 있다. 이에 따라 이러한 평가 방식은 기존의 중심에 자리매김한 대학들의 위치를 공고화 시키는 수단이 될 가능성이 있다. 새로이 교육시장에서 떠오르기 위해 노력하는 대학들에게 일종의 동기 부여를 할 수 있는 평가 지표의 적용이 필요하다.

자료로 사용되는 Thomson사에서 제공되는 SCI(E)와 SSCI의 자료 역시 문제점이 발견된다. 각 기관에 대한 논문 실적 발표에 있어 오류가 발견되더라도 학교 수준에서의 이의 수정 요청은 받아들여지지 않고 있다. 이 역시도 각 대학에서 좀더 주의 깊게 각 자료를 지켜보는 노력을 게을리 하지 않는 동시에 대학들의 상호 협력과 교육과학기술부로 대표되는 국가의 협조가 필요하다고 하겠다.

학문분야의 경우, 특히 공학계열에서 각 국의 연구력 측정에 있어 미주 지역 및 일부 기타 지역에서의 연구비 규모만을 반영하고 있어 연구비의 양적인 팽창이 급격히 이뤄지고 있는 우리나라의 경우 상대적인 불이익을 받을 수밖에 없다.

이러한 문제들은 단순히 각 대학의 개별적인 문제일 수 없다. 따라서 각 대학들은 평가에 따른 개별적인 내실을 기하는 동시에 이런 문제에 있어서는 집합적으로 대응해야 할 필요성이 제기된다. 또한 정부 역시 이를 개별 대학의 문제로만 환원할 것이 아니라 세계 교육시장에서의 국가 브랜딩(branding)의 문제로 인식하고 각 대학과의 협력을 통해 세계에서 우리나라의 교육 위상을 제고하는 데 실질적 지원을 아끼지 않기를 바란다.