귤림서원은 제사 기능을 가진 충암묘와 교육 기능을 가진 장수당이 복합되어 이루어진 서원이다. 1578년(선조 11년)에 제주판관 조인후가 기묘사화로 1520년(중종 15년) 6월, 제주도에 유배되어 사사된 김정의 넋을 위로하기 위하여 그의 적거지에 사묘를 세운 것에서 비롯되었다. 그 후 1660년(현종 1년) 제주목사 이괴가 장수당을 건립하였고, 1667년(현종 8년)에는 제주판관 최진남이 김정의 사묘를 장수당 남쪽인 현재의 오현단 안에 옮겨 짓고, 이를 사로 하고 장수당을 재로 하여 귤림서원이라 현액하였다.
1682년(숙종 8년) 신경윤이 제주목사로 있을 때 예조정량 안건지를 제주도에 파견하여 귤림서원으로 사액을 하고 김정, 송인수, 김상헌, 정온의 4현을 봉향하다가 1696년(숙종 22년)에 이익태 절제사 때 송시열이 추향됨으로써 5현을 배향하게 되었다. 1871년(고종 8년) 서원 철폐령에 의해 폐원되었는데, 1892년(고종 29년) 제주 사람 김의정이 중심이 되어 귤림서원 자리에 오현의 뜻을 후세에 기리고자 조두석을 세우고 제단을 쌓아 제사를 지내기도 하였다. 2000년 이후 귤림서원 복원 작업에 들어간 제주시는 2004년 10월 학생들이 공부하던 장수당과 협문 1채, 돌담 110ｍ 등을 완성한 데 이어, 2007년 8월 향현사 복원을 마무리 지었다. 조선 시대 유학과 유교 문화의 전당으로 제주 유생들의 지주 역할을 하였던 귤림서원이 복원됨으로써 제주 선현의 정신을 되살리는 계기를 마련할 수 있게 되었다.