공돌이의 노트정리

논문을 어떻게 읽는지에 관한 캐나다 워털루 대학의 S. Keshav님께서 쓰신 글을 번역하였습니다. 원래는 저희 연구실 사람들만 볼 수 있게 내부 위키피디아에 저장해두었는 데, 다른 분들도 볼 수 있도록 블로그에 올립니다. 원문을 보시려면 다음 링크를 참고하세요. http://blizzard.cs.uwaterloo.ca/keshav/home/Papers/data/07/paper-reading.pdf

How to Read a Paper

2013년 8월 2일

S. Keshav

David R. Cheriton School of Computer science, University of Waterloo

Waterloo, ON, Canada

keshav@uwaterloo.ca

요약

연구자들은 논문을 읽는 데 상당한 시간을 쓴다. 그러나 논문 읽는 기술은 거의 교육받지 못했다. 그래서 의미 없는 시간을 허비하는 경우가 많다. 이 글에서 간략하게 실용적이고 효과적으로 논문을 읽는 3-단계를 소개한다. 또한, 문헌 조사에서 이 방법을 어떻게 쓰는지도 설명하겠다.

도입

연구자들은 몇 가지 이유로 논문을 읽어야 한다: 콘퍼런스나 과목을 위해 읽기, 자신 분야의 연구 동향을 읽기 위해서 또는 새로운 분야의 참고 문헌을 조사하기 위해. 대부분의 연구자는 일 년에 수백 시간을 논문 읽는 데 쓰고 있다.

논문을 능률적으로 읽는 것은 매우 중요하지만, 읽는 방법은 배우기 어렵다. 대학원 생활 초반에 스스로 실패와 시도를 통해 배운다. 학생들은 이 과정에서 시간을 낭비하고, 좌절하기도 한다.

다년간 'three-pass' 접근법을 써서 조감도(bird's-eye-view)를 얻기 전에 논문의 세부적인 부분에 압도되지 않도록 했다. 이를 통해 논문을 비평하는 데 걸리는 시간을 추정할 수 있게 되었다. 또한, 논문을 평가하는 정도의 깊이를 내 필요와 시간의 여유에 따라 조절할 수 있게 되었다. 이 연구에서는 앞서 말한 이 접근법과 문헌 조사 방법에 관해 다룬다.

3-단계 접근법

가장 중요한 아이디어는 논문을 처음부터 끝까지 다 읽는 게 아니라 3-단계로 읽어야 한다는 것이다. 각각의 단계는 특정 목표가 있고, 이전 단계를 기반으로 한다. 첫 번째 단계는 논문의 일반적인 아이디어를 얻을 것이다. 두 번째 단계에서 논문의 내용을 파악할 수 있다. 하지만 자세한 파악은 아니다. 세 번째 단계에서 논문을 깊이 있게 이해할 수 있다.

1 단계

첫 번째 단계는 빠르게 훑어서 논문의 조감도를 얻는 것이다. 또한, 다음 단계로 진행할지 말지를 결정한다. 이 단계는 대략 5분에서 10분 안에 아래 절차들을 끝낸다.

1. 제목, abstract, introduction을 주의해서 읽는다.

2. 각 섹션의 제목을 확인한다. 나머지는 다 무시한다.

3. (만약에 있다면) 수학적인 부분을 대충 읽어서 이론적 배경이 무엇인지 생각해본다.

4. Conclusion을 읽는다.

5. Reference를 쭉 훑어보고, 이전에 읽어본 게 있나 생각해본다.

첫 단계를 거치고 다음 다섯 가지 C에 대답할 수 있을 것이다.

1. Category: 이 논문은 어떤 타입인가? 측정에 관한 건가? 기존 시스템 분석에 관한건가? 연구 프로토타입인가?

2. Context: 이 연구와 관련된 다른 연구는 뭘까? 어떤 이론적 배경이 문제 해결에 쓰였나?

3. Correctness: 논문의 가정이 유효한가?

4. Contributions: 이 논문의 주요 공헌은 무엇인가?

5. Clarity: 잘 써졌나?

이런 정보를 통해 더 읽을지 말지 결정할 것이다(그리고 프린트할지도, 나무 보호). 더는 읽지 않는다면 그 이유는 논문이 흥미를 끄는 내용이 아니라서 거나, 논문의 배경을 모르거나, 저자가 유효하지 않은 가정을 했기 때문일 수 있다. 첫 번째 단계는 자신의 연구 분야가 아니더라도 괜찮다. 나중에 관련 있는 걸 알아낼 수 있을 것이다.

각설하고, 자신의 논문을 쓰게 될 때, 논평가들(그리고 독자들)이 대부분 첫 번째 단계만 지난다는 걸 알 것이다. 일관성 있는 섹션, 서브섹션의 제목 선택에 심혈을 기울여라. 만약 비평가들이 한 단계 만에 논문의 요지를 이해하지 못한다면, 그 논문은 거의 거절된다고 볼 수 있다. 만약 독자가 5분 후에 어떤 논문의 하이라이트를 이해하지 못한다면, 그 논문은 다시는 읽히지 않을 것이다. 이런 이유로 괜찮은 그림으로 잘 요약된 '그래피컬한 요약'은 매우 좋은 아이디어다. 그리고 과학적 저널에서 더욱 잘 선택될 것이다.

2 단계

두 번째 단계에서, 논문에 더욱 집중해서 읽어라. 하지만 증명과 같은 세세한 것들은 무시해라. 읽어가면서 핵심을 써내려가거나, 여백에 비평를 써두면 도움이 된다. Uni Augsburg의 Dominik Grusemann이 "이해 안 되는 용어를 써두거나, 저자에게 질문하고 싶은걸 써놔라"고 했다. 만약 논문을 심사하는 사람에게, 이런 비평들은 나중에 논문 비평을 쓸 때 도움이 될 것이다. 그리고 위원회 회의에서 자신의 의견을 뒷받침하는 메모로 쓸 수 있다.

1. 그림, 다이어그램, 그리고 다른 삽화들을 주의 깊게 살펴보아라. 특히나 그래프에 신경을 써서 보아라. 그래프의 축이 적절히 라벨링 되었나? 결과물에 오차를 나타내는 바가 표현되었는지, 그래서 통계적으로 유의한가? 이런 실수들이 대단한 논문을 망쳐버린다.

2. 참고문헌 목록에 나중에 읽을만한 논문을 표시해라 (이건 논문의 배경을 배우기에 좋은 방법이다).

두 번째 단계는 경험자의 경우 한 시간 정도가 소요될 것이다. 이 단계 후에 논문의 내용을 파악할 수 있을 것이다. 여러 배경과 증거를 통해 논문의 요지를 요약할 수 있을 것이다. 이 단계는 논문 자체에 얼마나 흥미가 있느냐에 달렸지, 반드시 자신의 연구 분야에 달리 진 않다.

아마 가끔 두 번째 단계가 지나서도 논문이 이해되지 않을 수 있다. 아마도 주제가 생소하거나, 익숙지 않은 용어나 약어들 때문일 것이다. 또는 저자의 증명이나 실험 기술이 이해가 어려운 방법이라 그럴 수 있다. 근거 없는 주장으로 쓰이고 수많은 기존 연구를 바탕으로 쓰여서 그럴 수 있다. 또는 그냥 한밤중에 읽느라 매우 피곤해서 그럴 수 있다. 다음 중에 고를 수 있다. (a) 논문을 치워두고, 앞으로 읽거나 이해할 필요가 없길 바란다. (b) 나중에 다시 읽는다. 아마 배경 지식을 습득한 상태일 것이다. (c) 인내심을 발휘해서 세 번째 단계로 간다.

3 단계

논문을 완벽히 이해하기 위해, 특히 당신이 논문 비평가라면, 세 번째 단계가 필수다. 세 번째 단계에서 가장 중요한 것은 논문을 가상으로 재 실험해보는 것이다. 즉, 저자와 같은 가정을 하고, 그대로 다시 작업 해보아라. 이런 재작업과 실제 논문의 비교를 통해서, 단지 논문 자체만의 아이디어를 확인하는 것뿐 아니고, 숨겨진 결함과 가정을 찾아낼 수 있을 것이다.

이 단계는 세세한 것들을 위해 고도의 집중력이 필요하다. 모든 문장의 가정 하나하나를 확인해보고, 검토해야 한다. 더욱이, 나 자신의 특별한 아이디어를 생각해봐야 한다. 실제 논문과 가상 실험의 비교가 증명과 논문의 서술 기교에 관한 견고한 통찰력을 갖게 해줄 것이다. 그리고 이것들이 나중에 자신의 논문을 위한 레퍼토리가 될 것이다. 이 단계를 거치며 추후 연구를 위한 아이디어를 써놓을 수 있다.

이 단계는 초심자에게는 몇 시간 이상이 걸리고, 경험자는 한 시간, 또는 두 시간이 넘게 걸릴 것이다. 이 단계가 지나서, 기억을 통해 논문의 구조를 다시 작성해볼 수 있다. 거기에 더해 강점, 약점도 분류해낼 수 있을 것이다. 특히, 실험 또는 분석 기술에서 잠재적 가정이나, 빠진 관련 연구, 그리고 잠재적 이슈들을 찾아낼 수 있을 것이다.

문헌 조사 방법

논문 읽는 기술들은 문헌 조사를 위해 쓰일 수 있다. 이는 수십 개 이상의 논문을 읽게 될 수도 있고, 아마 익숙지 않은 분야도 포함될 수 있다. 어떤 논문을 읽어야 할까? 여기 세 단계의 도움이 될만한 접근법이 있다.

첫 번째, Google Scholar나 CiteSeer 같은 학문용 검색 엔진을 쓰고, 알맞은 키워드를 써서 최근에 많이 인용된 3-5개의 해당 영역의 논문을 찾자. 각 연구에서 논문 읽기 1단계를 적용해서, 해당 연구의 맥락을 잡는다. 그러고 나서 관련된 연구 부문을 읽어본다. 그러면 최근 연구들의 간략한 스케치를 할 수 있을 것이고, 아마도 운이 좋으면 최근 연구의 중심점을 찾을 수 있을 것이다. 만약 이런 연구를 찾으면, 된 것이다. 연구를 읽고, 운이 좋음을 축하하자.

그렇지않으면, 두 번째 단계로 간다. 공통으로 인용되는 논문을 찾고, 반복되는 저자의 이름을 찾는다. 그게 바로 해당 영역의 키 논문이 되고, 키 연구자들이 된다. 이 논문들을 내려받고, 한 곳에 두자. 그리고 키 연구자들의 웹 사이트에 가서 그들이 최근에 어디에 발표했는지 살펴본다. 최고의 연구자들은 대게 탑 콘퍼런스에 발표하기 때문에 이를 통해 어디가 탑 콘퍼런스인지 알 수 있을 것이다.

세 번째 단계는 탑 콘퍼런스 웹사이트에 가서 최근 기록들을 살펴본다. 빠르게 훑어서 최근 양질의 관련 연구를 알아낼 수 있을 것이다. 앞서 한곳에 모아둔 논문을 포함해서 이 논문들이, 문헌 조사의 첫 버전이 되는 것이다. 두 단계를 거쳐 이렇게 논문들을 모아라. 만약에 이 논문들이 아직 찾지 못한 어떤 키 논문을 언급하면, 그것도 구해두고, 읽어라. 이를 필요한 만큼 반복한다.

관련 연구

만약 논문을 비평하려 한다면, Timothy Roscoe의 논문 "Writing reviews for systems conferences"[3]을 본다. 만약 기술 논문을 쓰려 한다면, Henning Schulzrinne의 웹 사이트[4]와 George Whitesides의 글[5]을 참고하라. 마지막으로 Simon Peyton Jones의 웹 사이트는 연구 기술의 전체적인 부분을 다룬다[2].

Iain H. McLean의 Psychology, Inc.에는 실험 심리학 논문을 위한 three-pass 접근법을 간략히 보여주는 'review matrix'를 내려받을 수 있다. 이를 간단히 수정해서 다른 분야에도 사용할 수 있을 것이다.

감사의 말

이 문서의 초안은 나의 학생들이 작성하였다: Hossein Falaki, Earl Oliver, Summair Ur Rahman. 그들에게 감사한다. Christophe Diot의 통찰력 있는 논평과 Nicole Keshav의 교열에 도움을 받았다.

나는 이 문서가 살아 숨쉬기를 바란다. 어떤 제안이나 논평할 게 있다면 메일로 보내주길 바란다. 수년간 많은 사람으로부터 힘이 되는 피드백을 주셔서 감사하다.

참고문헌

• I.H. McLean, \Literature Review Matrix,"[1]

• S. Peyton Jones, \Research Skills,"[2]

• T. Roscoe, "Writing Reviews for Systems Conferences,"[3]

• H. Schulzrinne, "Writing Technical Articles,"[4]

• G.M. Whitesides, \Whitesides' Group: Writing a Paper,"[5]