충암 김정(1486∼1520)의 학문과 덕행을 추모하기 위해 세운 서원이다. 김정은 조선 전기 문신이며 학자로 이조참판, 대사헌 등을 거쳐 형조판서를 역임하였다. 그림과 시문에 능하였고 조광조와 함께 사림파의 대표적인 인물로 알려져 있다.
1555년(명종 10) 동주 성제원이 삼년성 안에 충암 김정을 향사하는 독향원을 세우고 삼년성서원이라 하였는데, 1610년(광해군 2)에 국가 공인의 사액서원으로 상현이란 이름을 받았다. 한국 최초의 서원인 소수서원 다음으로 세워졌으며, 충청북도에서는 첫 번째로 설립되고 사액 받은 서원으로 해마다 음력 2월과 8월 중정일에 제사 지낸다.
1672년(현종 13) 삼년성 안에서 외속리면 서원리로 옮겨 세웠으며, 사당에는 김정의 위패를 중심으로 좌우에 성운·성제원·조헌·송시열 등의 위패를 모시고 있다. 1871년(고종 8) 흥선대원군의 서원철폐령에 의해 고종 8년(1871)에 폐쇄된 뒤 1892년(고종 29) 찰방 김세희가 제단을 만들어 제향을 올렸으며, 1896년(고종 33) 장례원집례인 김문희와 송근수가 서원을 재건하고, 1919년에 중수하였다. 현재의 건물은 1949년에 다시 지은 후 1986년 해체 복원한 것이다.
나지막한 산을 뒤로하고 세운 이 서원은 작은 규모의 사당과 비석이 안치된 비각, 출입문으로 구성된다. 정문을 들어서면 왼쪽에 앞면 1칸·옆면 1칸 규모의 비각이 있고 뒤편으로 별도의 담장을 두른 정면 3칸, 1칸의 겹처마 맞배지붕의 사당이 있다. 사우 앞에는 내문인 일각문이 있고 일각문 앞에는 묘정비와 이를 보호하기 위해 비각이 있다. 비각 안에는 1949년 김명구가 쓴 상현서원중수기기문판이 걸려 있다. 강당은 서원철폐령으로 폐쇄될 때 보은향교로 옮겨 향교의 교육 장소인 명륜당으로 사용하여 왔다.