계담서원은 순흥 안씨 선조들을 제향하는 곳으로 괴산군 감물면 계담마을 중심에 위치해 있다.
1824년(순조 24)에 조선 중기의 문신 안명세 선생을 모시는 계담사로 마을 뒷산에 창건했다. 그 후 1865년(고종 2)에 대원군의 서원 철폐령으로 훼철되었다가, 1991년에 순흥 안씨 양도공파 종회 안동준 회장과 안병태 선생 등이 인근 지역의 유림과 전교에게 계담사 자리에 고려의 문신 문정공 안축을 주벽으로 조선 세종조 명신 안문숙공과 중종조 안한림공, 선조조 안사촌공, 선조조 안세마공의 5위 사당을 준공하고 앞 층계에 내삼문을 세우고 그 안에 묘우로 세덕사를 건립하여 계담서원을 복원하여 지금에 모습을 보여주고 있다.
계담서원은 강서당(학습실)과 학구당(도서관)이 갖춰져 있는 것이 특징이다. 계담서원 내 홍살문을 지나면 좌측에 도서관으로 이용하는 학구당이 있다. 2만 5천여 권의 책을 소장하고 있으며 인근 주민들이 언제나 대여 및 열람할 수 있다. 강의실로 쓰이는 강서당에서는 교양과 전통예절, 역사문화, 서예 등을 가르치고 있으며 지금까지 수많은 수강생과 졸업생을 배출해 낸 교육의 장이다.