Thành Nà Lữ thuộc xã Hoàng Tung, huyện Hòa An, nằm ở phía tây thành phố Cao Bằng trên tuyến quốc lộ 203 từ Thành phố đi Hòa An.
Thành Nà Lữ được xây bằng đất từ năm 265 (thời Tần Vũ Đế), đến năm 866 (đời Đường Hy Tông, năm Hàm Phong thứ 5 tháng 11 Bính Tuất) được Cao Biền (Tiết độ sứ) cho xây dựng cùng với thành Đại La, thành Phục Hòa và thành Lạng Sơn. Thời vua Lý Thái Tông (1048 - 1055), Nùng Trí Cao đã lấy cỗ này làm nơi chiêu binh luyện mã.
Sơ đồ khu trung tâm của nhà Mạc ở Cao Bằng vùng Cao Bình - Nà Lữ - Minh Tâm.
Tháng 2 năm 1431, vua Lê Thái Tổ (Lê Lợi Cao Hoàng Đế) thân chinh lên dẹp Bế Khắc Thiệu do nghi ngờ dung túng cho tướng Trần Nguyên Hãn làm phản, vua cho lập sinh từ thờ vua ở gò Con Rồng là đền vua Lê ngày nay.
Thời vua Mạc Kính Cung (1595), thành được sửa chữa, tu bổ và xây thêm cung điện. Thành được xây theo hình tứ trụ, diện tích 357 ha, thành phía Bắc dài 770m, phía Tây dài 570m, phía Nam dài 490m. Vật liệu là gạch vồ, chân thành được kê bởi các tảng đá to và phẳng, cổng thành làm bằng loại gỗ nghiến to, dày, rất kiên cố.
Thành có 4 cửa: cửa Đông thông ra sông Mãng, cửa Tây thông ra cánh đồng Nà Thính, cửa Nam thông ra cánh đồng Nà Lữ, phía bắc giáp với Khau Phước thông ra hệ thống chiến lũy núi Khắc Thiệu. Bên trong thành đắp 4 gò đất nổi lên được đặt tên là: Long, Ly, Quy, Phượng. Gò Long được đặt làm gò chính, dân địa phương gọi là Gò Rồng, được xây dựng cung điện chính. Các gò khác là nơi các đại thần, quân cơ đóng: Gò nổi cao nhất là gò Ly. Gò lớn nhất là gò Quy ở phía Bắc thành. Chính giữa là gò Phượng. Ở giữa thành còn có ao sen, các thửa ruộng hình bàn cờ. Nhìn từ ngọn núi Bế Khắc Thiệu, vùng Nà Lữ có thế của hình chữ vương vững chãi. Xưa Trạng Trình đã đến xem xét thế đất này.
Sau khi quân Lê - Trịnh đuổi quân Mạc chạy sang Trung Quốc, Cao Bằng trở thành một trấn của nhà Lê, trấn thủ thành Nà Lữ là Lê văn Hải đã sửa chữa thành và xây đền vua Lê Thái Tổ tại đây.
Đền Vua Lê ở làng Đền, xã Hoàng Tung (Hòa An) nằm trong quần thể khu di tích lịch sử Thành Nà Lữ
Trải qua nhiều giai đoạn lịch sử nên cơ bản thành đã bị phá huỷ không còn xác định được mặt cắt của thành cũ, bốn cổng đã bị lấp đất toàn bộ chỉ còn lại một đoạn thành đất ở phía Đông. Trên nền thành cổ còn sót lại cái góc cuối cùng của ngôi đền thờ vua Lê cùng vết tích nền thành, lò vôi, vườn đạn đá, gạch vồ, nền cung điện xưa.
Hiện nay thành Nà Lữ và đền vua Lê được xem là một di tích có giá trị và là nơi thường diễn ra lễ hội, sinh hoạt văn hoá, văn nghệ của nhân dân Cao Bằng. Lễ hội được tổ chức vào ngày 6 tháng giêng âm lịch hàng năm thu hút rất nhiều người dân địa phương và các vùng lân cận.
ST