본래 이 서원의 전신은 풍산현에 있던 풍악서당(豊岳書堂)으로 고려 때부터 사림의 교육기관이었다. 1572년(선조5)에 서애(西厓) 유성룡(柳成龍) 선생이 지금의 병산으로 옮긴 것이다. 1607년 서애가 타계하자 정경세(鄭經世) 등 지방 유림의 공의로 선생의 학문과 덕행을 추모하기 위하여 1613년(광해군5)에 존덕사(尊德祠)를 창건하고 위패를 봉안하여 1614년 병산서원으로 개칭하였다. 1620년(광해군 12)에 유림의 공론에 따라 퇴계 선생을 모시는 여강서원(廬江書院)으로 위패를 옮기게 되었다. 그 뒤 1629년(인조 9)에 별도의 위패를 마련하여 존덕사에 모셨으며, 그의 셋째 아들 류진(柳袗)을 추가 배향하였다. 1863년(철종 14)에 사액(賜額)되어 서원으로 승격하였다. 선현 배향과 지방교육의 일익을 담당하여 많은 학자를 배출하였으며, 1868년(고종5) 대원군의 서원철폐령이 내렸을 때에도 훼철(毁撤)되지 않고 보호되었다. 일제강점기에 대대적인 보수가 행해졌으며 강당은 1921년에, 사당은 1937년 각각 다시 지어 졌다. 매년 3월 중정(中丁：두 번째 丁日)과 9월 중정에 향사례를 지내고 있다. 사적으로 지정되어 있으며 서애 선생의 문집을 비롯하여 각종 문헌 1,000여 종 3,000여 책이 소장되어 있다.