Tháp Rùa được xây dựng năm 1884-1886, trên gò đất rộng 350m2 giữa Hồ Gươm. Tháp có ba tầng chính và một đỉnh, đỉnh tháp có kiến trúc đắp uốn cong.
Ngọn tháp là sự kết hợp phong cách kiến trúc châu Âu với hàng cửa cuốn gô-tích hai tầng dưới nhưng phần mái cong giữ quy thức kiến trúc cổ Việt Nam.
Tầng dưới cùng xây trên móng cao 0,8m. Chiều dài là 6,28m trong khi chiều rộng là 4,54m. Tầng này do là hình chữ nhật nên chiều dài mở ra ba cửa, còn chiều ngang mở ra hai cửa, tất cả là 10 cửa; bên trong phân ra ba gian, các gian thông với nhau bằng các cửa ngăn, đỉnh cũng nhọn như tất cả các cửa khác. Cả tầng có 4 cửa ngăn, tổng cộng 14 cửa.
Tầng hai xây lùi vào một chút, chiều dài 4,8m, chiều rộng 3,64m, cũng chia ra ba gian, kiến trúc y như tầng một với 14 bộ cửa nhưng nhỏ hơn. Tầng ba thu nhỏ hơn nữa, dài 2,97m, rộng 1,9m, chỉ mở một cửa hình tròn ở mặt phía đông, đường kính 0,68m. Tầng đỉnh chỉ như một vọng lâu, vuông vức, mỗi bề 2m. Trên tường mặt phía đông, bên trên cửa tròn có đường kính là 0.68m của tầng ba có ba chữ Quy Sơn Tháp, nghĩa là Tháp Núi Rùa. Vì là đảo đất tự nhiên, vào ngày hè rùa thường lên đây phơi nắng và đẻ trứng. Như vậy, từ nền đất Gò Rùa lên đến đỉnh tháp là 8,8m.
Khoảng năm 1884-1886, một người là Bá Kim xin xây tháp lên trên để làm gồ đằng sau cho ngôi chùa Báo Ân ở phía bờ sông. Ban đầu tháp này có tên là Tháp Bá hộ Kim.
Trải qua bao thăng trầm của lịch sử, Tháp Rùa trở thành hình ảnh quen thuộc với người dân Hà Nội và du khách.
Nguồn Dân Việt