1705년(숙종 31)에 최찬규·최찬기 등이 지방유림과 협력하여 이세필의 학문과 덕행을 기리기 위하여 생사당과 흥학비각을 세우고 용산사라 하였다. 이세필이 죽은 이듬해인 1719년(숙종 45)에 위패를 모시고 용산서원으로 개편하였다. 1784년(정조 8)에 화재로 소실되었다가 1789년에 박문수·이태좌·이형좌 등이 중건하였다. 선현배향과 지방교육의 일익을 담당하여오던 중 대원군의 서원철폐령으로 1868년(고종 5)에 훼철되었다. 그 뒤 1956년에 최만희·홍질현 등이 중심이 되어 현재의 위치에 복원하고, 이이와 송시열을 추가 배향하였다. 1984년에 다시 이이와 송시열의 위패는 훼철하고 이세필만 단독 배향하고 있다.
경내의 건물로는 3칸의 사우, 각 4칸의 동재와 서재, 신문, 고사 등이 있다. 사우에는 이세필의 위패가 봉안되어 있으며, 동재와 서재는 유림의 회합과 학문 강론 및 숙소로 사용하고 있다. 고사는 서원의 관리인이 기거하는 곳이다.
현재는 감성 아뜰리에, 용산서원 이라는 슬로건을 내걸고 문화체험, 인문학 특강, 효행길 산책 등을 운영하고 있다.