안곡서원은 현종 7년(1666년)에 남양 현감으로 부임한 민시중이 지방유림의 의견에 따라 기묘사화로 귀양을 간 박세희의 학문과 덕행을 추모하기 위해 지은 안곡사가 있던 곳이다.
이후 현종 9년(1668년)에 박세희의 큰형으로 향리에 은거하며 학문을 닦고 효행을 실천하여 존경을 받았던 박세훈을 사당에 모셨으며, 1697년에는 영의정을 지낸 홍섬을 추가로 모셨다. 안곡사는 경종1년(1721년) [안곡서원]이라는 사액을 받으며 서원이 되었다가 고종8년(1871년) 서원철폐령으로 헐렸다가 남양지역 유림들이 1976년에 다시 지었다.
안곡서원의 건물은 홍살문, 강당, 내삼문, 사당로 구성된다. 강당은 팔작지붕에 정면 3칸, 측면 2칸의 규모로 [안곡서원중건기] 등의 현판이 걸려있다. 사당은 맞배지붕에 정면 3칸, 측면 2.5칸으로 박세희를 주벽으로 양쪽으로 박세훈, 홍섬의 위패를 봉안하고 있다. 서원 밖 바로 앞에 현재 450년이 훌쩍 넘은 높이 32m의 은행나무가 서있는데, 이 나무는 안곡서원과 함께 고락을 함께 해왔다.
안곡서원은 1976년 사우가 중건된 이후부터 오늘날까지 서신면에 거주하는 상주 박씨 문중에서 관리하고 있으며, 매년 음력 9월 5일에 향사를 지내고 있다.