서원은 훌륭한 유학자의 제사를 지내고 지역민을 교육하기 위하여 설립한 조선시대 지방의 사립 교육기관이다.
설재서원은 설재 정가신을 기리기 위해 세운 서원으로 정가신은 고려 문신으로 과거에 급제하여 여러 벼슬자리를 거쳤으며 뛰어난 문장가이다. 숙종 14년 노안면 금안동에 세운 설재서원은 숙종 38년에 향사우로 승격되었다. 경종 3년에 영안마을로 이전하면서 강당인 영모재를 세웠고 이곳에는 현재 9명의 위패를 모시고 있는데, 숙종 19년(1693)에 효자 정려를 받은 정식, 경종 3년(1723)에 신장과 정심을, 1953년에 정상, 정여린, 정란, 1988년에 정초, 정눌의 위패를 추가하였다.
서원의 면적은 207평(684㎡)이며 건물의 구성은 사당, 강당, 내삼문으로 되어 있고, 외삼문 대신 4각 대문이 강당 측면에 건립되어 있다. 내삼문 좌우로 담장을 설치하여 제향 구역인 사당과 강당구역으로 분리시켰다. 강당인 영모재는 정면 4칸, 측면 2칸의 팔작지붕 집인데 중앙으로 2칸의 대청을 두고, 그 양측으로 온돌방을 꾸몄다. 여러 행사와 유림의 회합 및 학문 강론의 장소로 사용되고 있다.