저널 리뷰 과정에서 두번째 리뷰어 (속칭, Reviewer #2)가 자주 부정적인 의견이나 핵심에서 벗어난 의견을 제시한다는 생각이 학계에 퍼져있는데, Political Behavior의 리뷰 데이터를 분석해보니 두번째 리뷰어의 의견은 첫번째 리뷰어의 의견과 유의적인 차이가 없고, 의외로 세번째 리뷰어가 첫번째 리뷰어보다 유의적으로 부정적인 의견을 낸다는 결과를 보고하였다.
회계학 저널들은 보통 2명, 적으면 1명의 리뷰어를 배정하기 때문에 세번째 리뷰어는 거의 없지만 다른 경영학 분야나 사회과학 분야는 3명 이상의 리뷰어를 배정하는 경우가 많다. 다양한 의견을 듣는다는 측면에서 일견 좋은 방법처럼 보이지만, 논문 저자 입장에서는 리뷰어가 많을수록 리뷰어 간의 의견(Revise and Resubmit vs. Rejection)이 갈리는 경우가 많고, 리뷰어들 간에 상반되는 수정 방향을 제시하는 경우가 많아서 논문을 수정하는 것이 훨씬 까다로와진다.
리뷰어가 많을수록 의견이 갈릴 확률이 높아지는 것은 수학적으로 비교적 명확하다. 예를 들어 특정 저널에서 R&R을 받는 확률이 20%라고 하자 (회계학 톱저널의 경우 1라운드 R&R 확률이 20% 근처로 추정하고 있다). 리뷰어가 1명이면 R&R확률 20%, Rejection 확률 80%다. 하지만, 리뷰어가 2명이고 두 리뷰어의 의견이 독립적이면 두 사람이 모두 R&R을 추천할 확률은 고작 4%, 두 사람의 의견이 갈릴 확률 (1명 R&R, 1명 rejection)이 32%, 두명 모두 Rejection을 줄 확률은 64%가 된다 (리뷰어가 3명이면 의견이 2:1 또는 1:2로 갈릴 확률이 무려 48%로 늘어난다).
문제는 두 리뷰어의 의견이 갈린 경우 Rejection을 선택한 리뷰어를 설득시키는 것이 상당히 어렵기 때문에 해당 논문이 다음 라운드에서 살아남을 확률이 현저하게 떨어진다. 물론 두 명의 리뷰어가 완전히 독립적인 의견을 제시하지 않을 가능성이 있다. 예를 들어 정말 좋은 논문은 두 리뷰어 모두 좋은 평가를 줄 가능성이 높아질 것이다. 하지만, 두 리뷰어의 의견이 어느 정도 상관관계가 있다하더라도 두 리뷰어의 의견이 갈릴 확률이 다소 낮아질 뿐, 일단 의견이 갈리면 리뷰어 1명일 때 비해서 다음 라운드를 통과하기 더 어려워지는 점은 변함이 없다.
이런 문제를 해결하는 방법은 크게 두 가지가 있다. 첫째, 수준 높은 1명의 리뷰어를 배정하는 방식이다. 현재 일부 톱저널에서 시행하고 있는 방식이다. 둘째, 2명이상의 리뷰어를 배정한다면 에디터들이 리뷰어들의 의견이 갈렸을때 좀더 적극적으로 교통정리를 해야 한다. 리뷰어는 자신의 의견을 표시하고 해당 논문에 대한 R&R 또는 acceptance/rejection 추천을 할 뿐이고, 결국 R&R 과 acceptance/rejection결정을 내리는 사람은 저널 에디터이다. 따라서 저널 에디터는 리뷰어들의 의견이 갈리는 것이 상당히 흔한 현상임을 명심하고, R&R결정을 줄 때는 리뷰어들의 상충되는 의견에 대해 어떤 방향으로 수정을 할 지를 알려줄 필요가 있다. 하지만 리뷰어들이 제시하는 수정 방향이 크게 다를 때 조차도 많은 저널 에디터들이 교통정리를 하기 보다는 리뷰어들의 요구사항을 모두 만족시킬 의무를 묵시적으로 저자에게 떠 넘기는 경우가 대부분이다. 그래서 오늘도 많은 저자들이 R&R받은 논문을 어떻게 수정할 지 고민하고 있다.
