조선 성종조의 문신인 추계 윤효손(1431~1503)을 기리기 위하여 숙종 28년(1702) 건립하였다. 윤효손은 경국대전, 오례의주, 성종실록 등을 편찬하고 경상도 관찰사, 한성부윤, 대사헌, 성균관동지사, 좌우참찬 등을 지낸 인물이다.
1740년 무렵 구례군 중방리의 입향조인 벽송 윤위를 추배하여 주벽에 모셨고, 이후 최연, 이경석, 최언수 등을 추배하여 5위를 봉향하였다.
고종 2년(1865) 서원철폐령으로 인해 철폐되었다가 1985년 중건하여 윤효손을 모셨고, 1994년부터는 윤위와 이경석을 함께 모셨다.
서원의 역내에는 사당(모덕사), 동재, 서재, 외삼문(경앙문), 내삼문(거인문) 등의 건물이 있다. 사당 뒤 언덕에 보호수로 지정받은 팽나무가 있다. 2011년 현재 수령 약 500년으로 추정되는 오래된 나무로서 높이는 20m, 나무 둘레는 4.8m이며 수형이 웅대하고 아름답다.