칠서면 무릉리에 있는 무산사는 조선시대의 유명한 유학자인 주세붕(1495~1544) 선생의 영정과 유품을 모신 곳이다. 선생은 중종 38년(1543)에 백운동 서원을 세워 우리나라 서원의 시초를 이루었으며, 이를 기리기 위하여 숙종 24년(1698)에 선생의 후손이 세웠다. 고종(1863~1907) 때 흥선대원군에 의해 철폐되었다가 유림들이 다시 세웠으나, 6.25전쟁으로 불탔다. 현재의 무산서당은 그 후에 세운 것이다.
무산사 내에 있는 무산서당은 앞면 5칸, 옆면 2칸의 1층 건물이며, 지붕은 옆모습이 여덟 팔자 모양인 팔작지붕이다. 중앙 2칸의 대청을 사이에 두고 양옆에 각각 2칸과 1칸의 방을 꾸며 전형적인 서당의 공간 구성을 보여주고 있다. 광풍각에는 주세붕 선생의 영정이 모셔져 있고, 장판각에는 『무릉잡고』·『수구집』·『귀봉집』책판 352매가 보관되어 있으며, 1976년 4월 15일 유형문화재 제143호로 지정되어 보호하고 있다.