조선의 명장인 이순신의 덕을 기리기 위하여 이순신 장군의 타계 후 6년 후인 1603년, 장군의 부하들이 장군의 덕을 추모하여 세웠다.
[타루(墮淚)]란 눈물을 흘린다는 뜻으로, 중국의 양양 사람들이 양호(羊祜)를 생각하면서 비석을 바라보면, 반드시 눈물을 흘리게 된다는 고사성어에서 인용하였다.
비문은 [타루비]라는 비의 명칭을 앞면에 크게 새기고, 그 아래로 명칭을 붙이게 된 연유와 비를 세운 시기 등을 적고 있다.
타루비와 나란히 세워져 있는 통제이공수군대첩비와 동령소갈비가 함께 어딘가로 버려졌는데 해방이 되자 해남의 유지들이 서울로 사람을 보내 비석들의 행방을 수소문하여 경복궁 근경전 앞뜰 땅속에 묻혀 있었던 것을 찾아와 원래의 위치에 옮겨놓았다고 한다.
통제이공수군대첩비와 함께 보물 제571호로 일괄 지정되었던 타루비는 여수 시민들이 유물의 성격이나 건립 연대 등의 차이점을 들어 분리하여 보물로 지정해 줄 것을 정부에 건의하였고, 이것이 받아들여져 1998년 11월 27일 보물 제1288호로 지정되었다. (문화재 지정번호 폐지에 따라 현재는 번호는 쓰지 않는다)