1단계 BK사업 평가체제에서는 목표의 수행 정도를 평가하는 목표관리방식(MBO)을 기본으로 BK21사업의 사업목표, 사업비운영 및 관리, 차별화된 사업성과 및 목표달성 가능성, 제도개혁 및 사업 운영체제 등 4개영역에 대해 종합적인 실적을 평가하고, 평가결과에 따라 사업단 지원금 차등지원 또는 사업단 협약해지를 함으로써 사업목표의 효과적 달성을 유도하였다.

그러나 1단계 BK21사업 평가체제에서는 정량적 수치의 목표 달성 여부 위주로 평가가 진행되어 차별화된 사업성과 및 목표달성 가능성을 평가하기가 어려웠다. 또한 ‘평가 및 환류(feedback)’를 통한 사업개선 기능이 미흡하였고, ‘탈락과 새로운 사업단 진입구조’의 부재로 중간평가에 의한 신규진입 불가능하여 경쟁체제 조성에 한계가 있었고, 종합정보관리시스템 및 전문성 있는 상시평가 체제 정비가 미흡하여 사업성과가 체계적으로 평가되지 못하였다.

이러한 1단계 BK사업 평가체제의 단점을 보완하고, 성과 중심의‘환류’기능이 강화된 질적 평가체제의 구축을 위하여서는 다음의 사항들이 2단계 BK사업 평가체제에 고려되어야 한다. 첫째 사업 분야, 사업단의 목적과 특성을 고려한 질적 평가체제 구축, 둘째 사업 목표 이해와 평가의 공정성과 일관성을 유지하기 위한 기획 및 선정 위원을 포함한 분야별 상시 평가조직의 운영, 셋째, 평가체제 내재화를 위한 국내외 평가인증기관 또는 해외자문단 등이 포함된 대학(사업단)별 자체 평가조직의 운영, 넷째, 평가결과를 토대로 한‘탈락 과 재진입’시스템의 구축, 다섯째, 사업종합정보시스템 체계화와 사업평가·관리규정 법제화 등이다.

2단계 BK21사업 평가에서는 이러한 평가체제의 보완과 함께 평가의 효율성과 공정성을 높이는 새로운 평가기준이 고려되어야 한다. 예를 들어 과도한 목표 제시로 인해 형식적인 목표 관리가 되지 않도록 해야 하며, 핵심 항목을 제외하고는 목표 달성 여부만 판단(P/F)할 수 있도록 평가기준 항목을 간소화해야 하며, 사업비 대비 사업성과와 BK21 미 참여 대학과의 사업성과 비교를 통한 사업성과의 효율성을 제고하여야 한다.

또한 사업단 보고서 작성 업무의 부담을 줄여 주어야 하며, 평가결과에 대한 신속한 결과 통보 및 조치를 취해 사업단의 사업집행의 효율성을 높이도록 하여야 한다.

2단계 사업의 평가 목적은 사업분야, 사업단의 목표에 따른 성과 중심의 질적 평가체제를 구축하여 성과 중심의‘환류’기능을 강화하는데 있다. 성과 중심의 평가를 하기 위해서는 사업운영 결과를 자체평가하고, 그 결과의 분석과 개선점의 환류를 통한 사업목표 달성을 극대화 할 수 있는 자체평가 체제를 구축하여야 한다.

또한 BK21 사업의 궁극적인 목표인 인력양성에 중점을 둔 성과지표를 구성하여야 한다. 이러한 성과중심의 평가는 적격심사, 핵심지표 평가, MBO 평가로 구성된다. 사업진행 관련 필수평가 항목에 대해서는 적격심사를 하고, 사업진행의 적합성 요건을 충족하지 못 하였을 경우에는 사업 참여의 탈락(P/F)을 결정한다. 핵심지표는 협약서에 포함된 지표중에서 선정하여 관련 분야별로 최소기준을 설정하고, 설정된 기준을 달성하지 못할 경우 자동으로 사업단 탈락을 결정한다.

또한 핵심지표는 사업단 간의 상대평가기준으로도 사용한다. MBO평가는 사업단별 MBO를 적용하여 자체목표달성 정도를 평가한다. 핵심지표 평가와 MBO 평가의 비는 5:5로 하되 정성평가를 포함한다. 정성평가는 수량화 자체가 어려운 협약내용이나 정량지표에 적절히 반영되지 못한 내용을 대상으로 구성하도록 하는 것이 바람직하다.