덕산서원은 조선 전기의 문신으로 절개를 지켰던 남은 서섭을 추모하기 위하여 건립한 서원이다. 서섭은 달성서씨 판서공파 파조로 세종 때 대과에 급제한 후 단종 때 이조판서를 지낸 인물인데 세조의 왕위 찬탈로 관직을 사직하고 낙향하여 남애(南涯)라는 호를 남은(南隱)으로 고치고 세상을 떠날 때까지 은둔하였다. 그리하여 후손들도 그에 대해 알려진 바가 없어 잘 모르다가 80여년 전 그가 살았던 낡은 집을 헐다가 천장 속에서 발견된 함에서 그의 행장과 유고(상소문과 유문)를 발견하여 그의 충절이 널리 알려졌다.
이에 1926년 후손들이 묘소가 있는 황금동 근처에 첨모재를 세우고 1954년 중수 할 때 신도비를 세웠다. 이후 몇 차례의 중수가 있었고, 1995년 덕산서원으로 승격되었다. 1995년 사당인 경의사를 준공하였고 대대적으로 경역을 확장하고 당우를 신축하여 지역의 유림 공의를 거쳐 첨모재가 덕산서원으로 승격되었다. 승격 당시 사당인 경의사에는 서섭을 주벽으로 하고 서섭의 둘째 아들인 서감원을 배향하였다.
외삼문인 숭절문과 정면에 강당인 충정당이 있다. 동재는 구인재이고, 서재는 존성재이다. 충정당 뒤 높은 지대에 별도의 담장을 두르고 사당인 경의사가 자리하고 있다. 그 외 전사청, 신도비각, 서원사적비가 있어 규모에 비하여 짜임새 있는 공간 배치를 보여 준다. 매년 음력 9월 9일 향사를 지내고 있다.