충절사(忠節祠)는 조선시대 단종의 충절지사인 엄흥도를 기리기 위해 지은 사당이다. 당시 영월의 호장이었던 엄흥도는 이곳으로 유배 온 노산군 즉, 단종의 죽음을 맞이해서 그의 시신을 수습하여 읍에서 북쪽으로 5리쯤 떨어진 동을지에 장사를 지냈다. 당시 세조 치하에서 과감히 그런 일을 했다는 것은 널리 충절로 인정받기에 충분했다. 충절사에는 엄흥도의 위패와 영정이 보관되고 있다.
상의재는 엄흥도를 제향하기 위해 건립된 서원이다. 1750년(영조 26년) 그를 모시는 별묘를 세우고, 영조 32년(1755)에는 상절사를 건립하였는데, 이 사는 순조 33년(1833)서원으로 승격하여 의산서원이라 하였다. 이 서원은 흥선대원군의 섭정기간 때 서원철폐령으로 훼철되었으나 이후 1900년에 의산서원 자리에 상의재가 복설되었다.
17세기 중반 단종이 복위되면서 엄흥도의 후손들은 송시열(1607∼1689)의 건의로 벼슬길에 올랐으며, 엄흥도는 사육신과 함께 육신사에 위패가 모셔지게 되었다. 1726년(영조 19)에 공조참의, 1833년(순조 33)에는 공조판서로 그의 벼슬을 높였으며, 1877년에는 [충의공]이란 시호를 받았다.