논문을 어떻게 읽는지에 관한 캐나다 워털루 대학의 S. Keshav님께서 쓰신 글을 번역하였습니다. 원래는 저희 연구실 사람들만 볼 수 있게 내부 위키피디아에 저장해두었는 데, 다른 분들도 볼 수 있도록 블로그에 올립니다. 원문을 보시려면 다음 링크를 참고하세요. http://blizzard.cs.uwaterloo.ca/keshav/home/Papers/data/07/paper-reading.pdf
How to Read a Paper
2013년 8월 2일
S. Keshav
David R. Cheriton School of Computer science, University of Waterloo
Waterloo, ON, Canada
keshav@uwaterloo.ca
요약
연구자들은 논문을 읽는 데 상당한 시간을 쓴다. 그러나 논문 읽는 기술은 거의 교육받지 못했다. 그래서 의미 없는 시간을
허비하는 경우가 많다. 이 글에서 간략하게 실용적이고 효과적으로 논문을 읽는 3-단계를 소개한다. 또한, 문헌 조사에서 이 방법을
어떻게 쓰는지도 설명하겠다.
도입
연구자들은 몇 가지 이유로 논문을 읽어야 한다: 콘퍼런스나 과목을 위해 읽기, 자신 분야의 연구 동향을 읽기 위해서 또는 새로운 분야의 참고 문헌을 조사하기 위해. 대부분의 연구자는 일 년에 수백 시간을 논문 읽는 데 쓰고 있다.
논문을 능률적으로 읽는 것은 매우 중요하지만, 읽는 방법은 배우기 어렵다. 대학원 생활 초반에 스스로 실패와 시도를 통해 배운다. 학생들은 이 과정에서 시간을 낭비하고, 좌절하기도 한다.
다년간 'three-pass' 접근법을 써서 조감도(bird's-eye-view)를 얻기 전에 논문의 세부적인 부분에 압도되지
않도록 했다. 이를 통해 논문을 비평하는 데 걸리는 시간을 추정할 수 있게 되었다. 또한, 논문을 평가하는 정도의 깊이를 내
필요와 시간의 여유에 따라 조절할 수 있게 되었다. 이 연구에서는 앞서 말한 이 접근법과 문헌 조사 방법에 관해 다룬다.
3-단계 접근법
가장 중요한 아이디어는 논문을 처음부터 끝까지 다 읽는 게 아니라 3-단계로 읽어야 한다는 것이다. 각각의 단계는 특정 목표가 있고, 이전 단계를 기반으로 한다. 첫 번째 단계는 논문의 일반적인 아이디어를 얻을 것이다. 두 번째 단계에서 논문의 내용을 파악할 수 있다. 하지만 자세한 파악은 아니다. 세 번째 단계에서 논문을 깊이 있게 이해할 수 있다.
1 단계
첫 번째 단계는 빠르게 훑어서 논문의 조감도를 얻는 것이다. 또한, 다음 단계로 진행할지 말지를 결정한다. 이 단계는 대략 5분에서 10분 안에 아래 절차들을 끝낸다.
- 1. 제목, abstract, introduction을 주의해서 읽는다.
- 2. 각 섹션의 제목을 확인한다. 나머지는 다 무시한다.
- 3. (만약에 있다면) 수학적인 부분을 대충 읽어서 이론적 배경이 무엇인지 생각해본다.
- 4. Conclusion을 읽는다.
- 5. Reference를 쭉 훑어보고, 이전에 읽어본 게 있나 생각해본다.
첫 단계를 거치고 다음 다섯 가지 C에 대답할 수 있을 것이다.
- 1. Category: 이 논문은 어떤 타입인가? 측정에 관한 건가? 기존 시스템 분석에 관한건가? 연구 프로토타입인가?
- 2. Context: 이 연구와 관련된 다른 연구는 뭘까? 어떤 이론적 배경이 문제 해결에 쓰였나?
- 3. Correctness: 논문의 가정이 유효한가?
- 4. Contributions: 이 논문의 주요 공헌은 무엇인가?
- 5. Clarity: 잘 써졌나?
이런 정보를 통해 더 읽을지 말지 결정할 것이다(그리고 프린트할지도, 나무 보호). 더는 읽지 않는다면 그 이유는 논문이 흥미를 끄는 내용이 아니라서 거나, 논문의 배경을 모르거나, 저자가 유효하지 않은 가정을 했기 때문일 수 있다. 첫 번째 단계는 자신의 연구 분야가 아니더라도 괜찮다. 나중에 관련 있는 걸 알아낼 수 있을 것이다.
각설하고, 자신의 논문을 쓰게 될 때, 논평가들(그리고 독자들)이 대부분 첫 번째 단계만 지난다는 걸 알 것이다. 일관성 있는 섹션, 서브섹션의 제목 선택에 심혈을 기울여라. 만약 비평가들이 한 단계 만에 논문의 요지를 이해하지 못한다면, 그 논문은 거의 거절된다고 볼 수 있다. 만약 독자가 5분 후에 어떤 논문의 하이라이트를 이해하지 못한다면, 그 논문은 다시는 읽히지 않을 것이다. 이런 이유로 괜찮은 그림으로 잘 요약된 '그래피컬한 요약'은 매우 좋은 아이디어다. 그리고 과학적 저널에서 더욱 잘 선택될 것이다.
2 단계
두 번째 단계에서, 논문에 더욱 집중해서 읽어라. 하지만 증명과 같은 세세한 것들은 무시해라. 읽어가면서 핵심을 써내려가거나, 여백에 비평를 써두면 도움이 된다. Uni Augsburg의 Dominik Grusemann이 "이해 안 되는 용어를 써두거나, 저자에게 질문하고 싶은걸 써놔라"고 했다. 만약 논문을 심사하는 사람에게, 이런 비평들은 나중에 논문 비평을 쓸 때 도움이 될 것이다. 그리고 위원회 회의에서 자신의 의견을 뒷받침하는 메모로 쓸 수 있다.
- 1. 그림, 다이어그램, 그리고 다른 삽화들을 주의 깊게 살펴보아라. 특히나 그래프에 신경을 써서 보아라. 그래프의 축이 적절히 라벨링 되었나? 결과물에 오차를 나타내는 바가 표현되었는지, 그래서 통계적으로 유의한가? 이런 실수들이 대단한 논문을 망쳐버린다.
- 2. 참고문헌 목록에 나중에 읽을만한 논문을 표시해라 (이건 논문의 배경을 배우기에 좋은 방법이다).
두 번째 단계는 경험자의 경우 한 시간 정도가 소요될 것이다. 이 단계 후에 논문의 내용을 파악할 수 있을 것이다. 여러 배경과 증거를 통해 논문의 요지를 요약할 수 있을 것이다. 이 단계는 논문 자체에 얼마나 흥미가 있느냐에 달렸지, 반드시 자신의 연구 분야에 달리 진 않다.
아마 가끔 두 번째 단계가 지나서도 논문이 이해되지 않을 수 있다. 아마도 주제가 생소하거나, 익숙지 않은 용어나 약어들 때문일 것이다. 또는 저자의 증명이나 실험 기술이 이해가 어려운 방법이라 그럴 수 있다. 근거 없는 주장으로 쓰이고 수많은 기존 연구를 바탕으로 쓰여서 그럴 수 있다. 또는 그냥 한밤중에 읽느라 매우 피곤해서 그럴 수 있다. 다음 중에 고를 수 있다. (a) 논문을 치워두고, 앞으로 읽거나 이해할 필요가 없길 바란다. (b) 나중에 다시 읽는다. 아마 배경 지식을 습득한 상태일 것이다. (c) 인내심을 발휘해서 세 번째 단계로 간다.
3 단계
논문을 완벽히 이해하기 위해, 특히 당신이 논문 비평가라면, 세 번째 단계가 필수다. 세 번째 단계에서 가장 중요한 것은 논문을 가상으로 재 실험해보는 것이다. 즉, 저자와 같은 가정을 하고, 그대로 다시 작업 해보아라. 이런 재작업과 실제 논문의 비교를 통해서, 단지 논문 자체만의 아이디어를 확인하는 것뿐 아니고, 숨겨진 결함과 가정을 찾아낼 수 있을 것이다.
이 단계는 세세한 것들을 위해 고도의 집중력이 필요하다. 모든 문장의 가정 하나하나를 확인해보고, 검토해야 한다. 더욱이, 나 자신의 특별한 아이디어를 생각해봐야 한다. 실제 논문과 가상 실험의 비교가 증명과 논문의 서술 기교에 관한 견고한 통찰력을 갖게 해줄 것이다. 그리고 이것들이 나중에 자신의 논문을 위한 레퍼토리가 될 것이다. 이 단계를 거치며 추후 연구를 위한 아이디어를 써놓을 수 있다.
이 단계는 초심자에게는 몇 시간 이상이 걸리고, 경험자는 한 시간, 또는 두 시간이 넘게 걸릴 것이다. 이 단계가
지나서, 기억을 통해 논문의 구조를 다시 작성해볼 수 있다. 거기에 더해 강점, 약점도 분류해낼 수 있을 것이다. 특히, 실험
또는 분석 기술에서 잠재적 가정이나, 빠진 관련 연구, 그리고 잠재적 이슈들을 찾아낼 수 있을 것이다.
문헌 조사 방법
논문 읽는 기술들은 문헌 조사를 위해 쓰일 수 있다. 이는 수십 개 이상의 논문을 읽게 될 수도 있고, 아마 익숙지 않은 분야도 포함될 수 있다. 어떤 논문을 읽어야 할까? 여기 세 단계의 도움이 될만한 접근법이 있다.
첫 번째, Google Scholar나 CiteSeer 같은 학문용 검색 엔진을 쓰고, 알맞은 키워드를 써서 최근에 많이 인용된 3-5개의 해당 영역의 논문을 찾자. 각 연구에서 논문 읽기 1단계를 적용해서, 해당 연구의 맥락을 잡는다. 그러고 나서 관련된 연구 부문을 읽어본다. 그러면 최근 연구들의 간략한 스케치를 할 수 있을 것이고, 아마도 운이 좋으면 최근 연구의 중심점을 찾을 수 있을 것이다. 만약 이런 연구를 찾으면, 된 것이다. 연구를 읽고, 운이 좋음을 축하하자.
그렇지않으면, 두 번째 단계로 간다. 공통으로 인용되는 논문을 찾고, 반복되는 저자의 이름을 찾는다. 그게 바로 해당 영역의 키 논문이 되고, 키 연구자들이 된다. 이 논문들을 내려받고, 한 곳에 두자. 그리고 키 연구자들의 웹 사이트에 가서 그들이 최근에 어디에 발표했는지 살펴본다. 최고의 연구자들은 대게 탑 콘퍼런스에 발표하기 때문에 이를 통해 어디가 탑 콘퍼런스인지 알 수 있을 것이다.
세 번째 단계는 탑 콘퍼런스 웹사이트에 가서 최근 기록들을 살펴본다. 빠르게 훑어서 최근 양질의 관련 연구를 알아낼 수
있을 것이다. 앞서 한곳에 모아둔 논문을 포함해서 이 논문들이, 문헌 조사의 첫 버전이 되는 것이다. 두 단계를 거쳐 이렇게
논문들을 모아라. 만약에 이 논문들이 아직 찾지 못한 어떤 키 논문을 언급하면, 그것도 구해두고, 읽어라. 이를 필요한 만큼
반복한다.
관련 연구
만약 논문을 비평하려 한다면, Timothy Roscoe의 논문 "Writing reviews for systems conferences"[3]을 본다. 만약 기술 논문을 쓰려 한다면, Henning Schulzrinne의 웹 사이트[4]와 George Whitesides의 글[5]을 참고하라. 마지막으로 Simon Peyton Jones의 웹 사이트는 연구 기술의 전체적인 부분을 다룬다[2].
Iain H. McLean의 Psychology, Inc.에는 실험 심리학 논문을 위한 three-pass 접근법을
간략히 보여주는 'review matrix'를 내려받을 수 있다. 이를 간단히 수정해서 다른 분야에도 사용할 수 있을 것이다.
감사의 말
이 문서의 초안은 나의 학생들이 작성하였다: Hossein Falaki, Earl Oliver, Summair Ur Rahman. 그들에게 감사한다. Christophe Diot의 통찰력 있는 논평과 Nicole Keshav의 교열에 도움을 받았다.
나는 이 문서가 살아 숨쉬기를 바란다. 어떤 제안이나 논평할 게 있다면 메일로 보내주길 바란다. 수년간 많은 사람으로부터 힘이 되는 피드백을 주셔서 감사하다.
참고문헌
- I.H. McLean, \Literature Review Matrix,"[1]
- S. Peyton Jones, \Research Skills,"[2]
- T. Roscoe, "Writing Reviews for Systems Conferences,"[3]
- H. Schulzrinne, "Writing Technical Articles,"[4]
- G.M. Whitesides, \Whitesides' Group: Writing a Paper,"[5]
'공돌이 공부방법정리' 카테고리의 다른 글
논문을 효율적으로 읽는 방법 (35) | 2016.01.29 |
---|---|
Research skills. 연구 방법에 관한 정리 링크 (0) | 2015.12.21 |
How to Study Math, Science and Engineering (0) | 2012.08.30 |
TIPS ON TEST TAKING (0) | 2012.08.30 |
AN ENGINEERING STUDENT SURVIVAL GUIDE (0) | 2012.08.30 |
댓글을 달아 주세요
연구에 관한 다른 조언을 더 보시려면 http://blizzard.cs.uwaterloo.ca/keshav/wiki/index.php/Advice 를 참고하세요.
3월5일 2016.03.07 11:26 댓글주소 수정/삭제 댓글쓰기
한창 논문 읽고 있는 대학원생인데 도움이 많이 되었습니다. 감사합니다!! 링크 첨부해서 스크랩해가겠습니다!
감사합니다. 즐거운 연구되시길 바랍니다.
imijiqu 2016.04.27 00:36 댓글주소 수정/삭제 댓글쓰기
좋은 정보 감사합니다 ^^
넵. 감사합니다.
지나가는이과생 2016.09.28 18:50 댓글주소 수정/삭제 댓글쓰기
좋은 정보 감사합니다. 논문 읽는 데에 도움이 많이 되었습니다.
감사합니다^^
ㅗㅜㅑ 2018.01.11 20:24 댓글주소 수정/삭제 댓글쓰기
꿀팁!!
건빵한알 2018.03.08 18:21 댓글주소 수정/삭제 댓글쓰기
도움이 많이 되었어요.
링크첨부 정리해서 블로그에 올려도 될까요~^^
넵 물론이죠. 감사합니다.
감사합니다~ 저도 링크 첨부해서 블로그에 올려도 될까요?
네. 당연하죠. 감사합니다^^
김현우 2018.11.05 16:15 댓글주소 수정/삭제 댓글쓰기
안녕하세요. 좋은 글 너무 감사합니다.이제 막 논문 공부시작하려는 대학생인데 이 글보고 감동받아서 블로그에 링크첨부해서 올리고 싶은데 괜찮을까요??
넘 감사합니다. 마음껏 퍼가세요^^
감사합니다
박사과정생 2018.12.06 22:34 댓글주소 수정/삭제 댓글쓰기
지나가다가 읽게 되었습니다. 감사합니다^^
감사합니다. ^^
ㅇㅇㅇ 2019.03.23 13:18 댓글주소 수정/삭제 댓글쓰기
정말 감사합니다 대학원생 초입에서 논문 읽고 찾는데 도움이 많이 될것같아요
도움되시니 제가 감사합니다^^
케메 2019.12.14 20:33 댓글주소 수정/삭제 댓글쓰기
감사합니다. 석사과정인데 이제 슬슬 논문의 바다로 빠지려합니다.. 익사하지 않는 방법을 알려주셔서 감사해요
감사합니다 ^^ 화이팅!
강둥찬 2020.01.08 03:07 댓글주소 수정/삭제 댓글쓰기
내가 잘 하고 있나 의심하면서 오늘도 논문을 읽고 있던 차 좋은 글 보고 가게 되네요.
감사합니다. ^^
실험실도비 2020.01.15 09:17 댓글주소 수정/삭제 댓글쓰기
도움이 많이 됐습니다 감사합니다.
혹시 논문 정리방법에 대해서도 조언해주실 수 있나요?
연차 쌓이다보니 초반에 읽었던 논문들은 가물가물해서 정리의 중요성을 뼈저리게 느끼고 있습니다..
안녕하세요. 읽은 논문은 비공개 위키에 연구 주제 별로 내용을 정리하며 읽고 있습니다.
Fwan 2020.02.14 10:57 댓글주소 수정/삭제 댓글쓰기
이제 막 대학원에 입학해서 논문을 읽으면서 좀더 효율적인 방법으로 읽는법이 없나해서 찾아봤는데 좋은 정보 감사합니다. 링크 첨부해서 블로그에 포스팅 해도 될까요??
넵 당연하죠. 감사합니다^^
sulga2 2020.03.23 13:25 댓글주소 수정/삭제 댓글쓰기
몇년째 한 포스팅에 답변을 남겨주고 계신다니 대단하네요. 방명록에 글 남겼습니다. 확인 부탁드립니다.
시간내서 글 읽어주신 분들께 감사해서요. 감사합니다.
영어 논문으로 영어 공부하는 방법을 찾던 와중에 그와는 별개로 좋은 글을 찾았네요. 잘 읽었습니다! 링크 첨부해서 스크랩해가겠습니다.
넵 감사합니다 ^^
energy man 2021.02.26 18:03 댓글주소 수정/삭제 댓글쓰기
감사합니다 작성자님의 글을 바탕으로 한번 정리하면서 많은 틀이 잡혔네요 감사합니다.
도움되셨다니 넘 감사합니다 ㅎ
dfggfd 2021.10.20 10:13 댓글주소 수정/삭제 댓글쓰기
너무 좋은 글이네요. 이제 처음 막 논문읽기를 시작하는데 시간이 너무 많이 걸려서 진도가 안나가 논문 읽는 법을 찾고 있던 중 발견했습니다 ^^*,,(논문보다 재미있음,,;
앞으로 이 방식으로 빠르고 정확하게 읽어볼게요 ! 감사합니다
감사합니다. ㅎ 좋은 논문 많이 보시길 바래요.