낙빈서원은 단종의 복위에 목숨을 바친 하위지, 박팽년 이개, 성삼문, 유성원, 유응부를 배향한 서원이다. 본래 충정공 박팽년의 위패를 봉안한 하빈사가 있어 후손들이 향사를 지내왔는데, 현손인 박계창이 사당 밖에서 사육신 여섯 분이 서성거리는 꿈을 꾼 후 깨달은 바가 있어 사육신 여섯분을 함께 모시고 제향하게 되었다. 1691년(숙종 17)에는 별묘와 강당을 건립하여 낙빈서원을 창건하였는데, 3년 후 숙종으로부터 사액을 하사 받아 사액서원이 되었다. 흥선 대원군 집권기인 1871년(고종 8) 훼철되었으나 일제강점기인 1924년 문중에서 원래 터보다 위쪽인 현 위치에 강당만 중건하였고, 사당은 세우는데 어려움이 있어 서원의 모습보다는 문중의 재사와 비슷한 모습으로 사용되었다.
1970년대에 후손들이 모여사는 묘골마을에 육신사가 세워지면서, 사육신의 위패를 옮겨 봉안하고 매년 춘추절 향사도 지내게 되었다. 이로 인해 낙빈서원은 현재 재실로 사용되고 있다. 서당에서 출발한 교육 기능 중심의 서원과는 달리 조상을 모시던 사당에서 출발한 조선 후기 서원의 전형적인 특징을 잘 보여주고 있다. 사육신을 모신 서원은 전국에 여러 곳 있었는데 단종의 능이 있는 영월 창절사가 서원철폐령 때 훼철되지 않고 남아 있다.

경내 건물은 강당 1채만 남아 있으며, 강당 건물에는 낙빈서원 현판이 걸려 있다. 이 밖에 비석 1기가 남아 있다. 현재 낙빈서원에서는 향사를 드리지 않고 육신사에서 지낸다. 강당은 정면 4칸, 측면 1.5칸 규모 홑처마 팔작지붕 건물이다. 평면 구성은 중앙에 2칸 우물마루를 중심으로 양측에 온돌방을 둔 중당 협실형이다. 가운데 마루 2칸의 칸살을 좌우 온돌방보다 작게 잡았으며, 좌우 온돌방과 마루 사이는 4분합 들어 열개문을 달았다. 온돌방 뒤편에 벽장을 만들고, 전면 출입문 위에 환기창을 두었다. 자연석으로 기단을 낮게 조성한 후 정면 기둥만 원기둥을 사용하였다. 인근에는 함께 둘러보기 좋은 곳으로 달성 삼가헌 고택이 있다.