암서재는 화양구곡의 하나인 제4곡 금사담 옆 절벽 위에 위치한 서재로 조선 후기의 문신·학자인 송시열이 정계에서 은퇴한 후 학문을 닦고 제자들을 가르치던 곳이다. 화양구곡은 청계리에서 약 8km 지점에 있는 화양리 박대천의 지류인 화양천을 따라 펼쳐진 명승지로 화양동도립공원 내에 있다. 이 계곡의 주위 바위 사이에는 노송이 울창하고 밑으로는 맑은 물이 감돌며 층암절벽이 즐비하여 경치가 매우 좋다.
암서재는 대지 약 65㎡ 정도에 목조 기와로 2칸은 방이고 1칸은 마루로 되어 있는데, 여기에 현판 5점이 걸려 있다. 앞에는 암반 사이에 일각문이 세워져 있다. 일제강점기 말기에 후손들이 수리하였고, 1970년에 보수하여 지금에 이른다. 암서재기에 [우암선생어병오년간축정사어계남]이라고 씌어 있는 것으로 미루어 1666년(현종 7) 8월 암서재를 짓고 이곳에 거주하였음을 알 수 있다. 암서재기의 글씨는 문인 권상하가 쓴 것이다. 화양구곡 곳곳에는 지금도 [비례부동] 등 송시열의 필적이 많이 남아 있으며 화양서원의 터도 이곳에 있다.
1994년 1월 7일 충청북도 유형문화재로 지정되었다가 화양서원터와 만동묘터를 중심으로 암서재, 읍궁암, 애각사적, 묘소와 신도비 등 송시열과 관련된 유적들이 1999년 사적 괴산송시열유적지로 승격되었다. 이후 2002년부터 2004년까지 유지가 남아있는 건물 8동을 복원 정비하였다.