의촌 김남식과 시은 김이성·인일정 김성은의 학문과 덕행을 추모하고 이를 계승하고자 세운 서원이다. 김남식은 김집 선생의 문인으로 병자호란 때 청나라와 굴욕적인 화의를 맺었다는 소식을 듣고 통곡하며 돌아와 계령산 밑에 살며 집 이름을 대명유계라 하였다. 김이성은 김남식의 아들로 송시열 선생의 문인이며 효성이 지극하였다고 전한다. 김성은은 김이성의 증손으로 황의찬 문하에서 수학하였고『동국문헌록』등의 저술이 있다. 옥산서원은 크게 세 영역으로 구분된다. 중심 영역에는 사우와 내삼문, 강당인 옥산정사가 일렬로 배치되어 있으며, 강당 동쪽에는 고직사가 자리잡고 있다. 또 강당 남서쪽에는 인일정의 영당과 삼강문이 있는데, 각각 삼문과 담장을 갖추어 별도의 영역을 이루고 있다. 사우는 1956년 다시 지은 것으로 중앙에는 김남식을 모시고 있으며, 좌우에는 김이성과 김성은을 모시고 있다. 규모는 앞면 3칸·옆면 3칸으로, 지붕은 옆면에서 볼 때 사람 인(人)자 모양인 맞배지붕이다. 강당인 옥산정사는 정조 10년(1786) 개축한 것으로 1987년 복원하였다. 규모는 앞면 6칸·옆면 3칸으로, 지붕은 옆면에서 볼 때 여덟 팔(八)자 모양인 팔작지붕이다. 인일정 영당은 앞면 3칸·옆면 2칸으로 맞배지붕이다. 삼강문은 1948년 다시 지었는데 앞면 3칸·옆면 2칸 규모의 누각 형식으로 지붕은 팔작지붕이다. (출처 : 문화재청)