합호서원은 안향의 뜻을 기리기 위한 서원이다. 안향(1243∼1306)은 고려시대의 이름난 학자로 순흥(順興) 출신으로 호는 회헌(晦軒), 시호는 문성공(文成公)이다. 1260년(고려 원종 원년) 문과에 급제하여 교서랑(校書郞)이 되고, 1270년 삼별초 항쟁 때 강화에 억류되었다가 탈출한 뒤 감찰어사(監察御史)가 되었다. 1286년(충렬왕 12) 왕을 따라 원(元)나라에 가서 연경(燕京)에서 처음으로 《주자전서(朱子全書)》를 보고 필사하여 고려로 가지고 들어왔다. 이후 성리학 연구에 몰두, 고려 말기의 유학 진흥에 큰 공적을 남겼다.
1716년(숙종 42) 안경신, 안경인, 안경정 등이 고려 때의 학자 안향(安珦:1243∼1306)의 영정을 봉안하고 매년 3월 3일과 9월 9일 향사를 지내다가 고종 때 서원철폐령에 따라 훼철되었다. 그 후 후손들이 합호사(合湖祠)를 건립하여 춘추로 향사하다가, 1949년 전국 218개 향교의 동의를 얻어 합호서원을 부설하였다. 정면 3칸 측면 2칸의 맞배지붕 기와집으로 현재 연기유림회 주최로 매년 9월 12일 안향의 제삿날에 제사를 지내다가 농사일에 방해가 되지 않는 음력 3월 3일로 날짜를 바꾸어 1년에 한 번씩 제사를 지내고 있다.
1984년 5월 17일 충청남도 문화재자료 제41호로 지정되었다가 세종특별자치시 출범으로 해지된 후, 2012년 12월 31일 세종특별자치시 문화재자료 제2호로 다시 지정되었다.