조선 중종 때 김세필이 현재의 위치에 서재를 짓고 은거하였는데, 그가 죽자 지방 유림의 공의로 김세필을 추모하기 위해 서원으로 개조하여 위패를 모셨다. 선현 배향과 지방 교육의 일익을 담당해 오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 철폐되었다. 그 뒤 1893년에 유림과 후손들이 협의하여 제단을 설치하고 제사를 지내오다가 1906년에 복원하였으며, 김자수, 김저, 김억, 김정현, 김홍욱, 김종현, 박상 등을 추가 배향하였다.
경내의 건물로는 정면 3칸, 측면 2칸의 사우, 중앙의 경모문과 양옆의 협문으로 된 삼문, 정면 4칸, 측면 2칸으로 된 재실, 고직사, 유허비, 홍살문 등이 있다. 팔성산을 배경으로 이 서원은 배치기 법상 산 중턱의 높은 경사면을 이용하여 3단으로 되어 있으며, 첫째 단에는 강당인 공자당이 위치하고 그 좌측으로 둘째 단에는 솟을삼문을 배치하였다. 또 이 삼문을 지나면 높게 축조된 기단상에 사당을 배치하고 있는데, 이는 사당을 중심으로 강당이 우측에 있는 좌묘우당식의 배치법을 따르고 있다.