Tháp cổ Vĩnh Hưng tọa lạc tại xã Vĩnh Hưng A (huyện Vĩnh Lợi) có khung niên đại từ thế kỷ VII - VIII. Đây là kiến trúc tháp thuộc nền văn hóa Óc Eo còn sót lại duy nhất ở Tây Nam bộ. Năm 1992, tháp Vĩnh Hưng được xếp hạng di tích kiến trúc nghệ thuật cấp quốc gia. Sau các cuộc khai quật khảo cổ xung quanh và trong tháp, các nhà nghiên cứu thu được nhiều hiện vật, mảnh gốm có giá trị lịch sử, khoa học, trong đó có 4 hiện vật được Thủ tướng Chính phủ công nhận Bảo vật quốc gia.

Đầu tượng thần Shiva còn nguyên dạng, niên đại thế kỷ XII. Shiva là vị thần quan trọng nhất, xuất hiện trong suốt thời kỳ văn hóa Óc Eo. Đầu tượng có khuôn mặt trái xoan, dáng vẻ trẻ trung, quý phái, mặt tươi, miệng mỉm cười, có 3 mắt, hoa văn trang trí trên mũ miện tinh xảo và đa dạng.

Tượng Sadashiva được đúc theo tư thế đứng, có 10 tay, 5 đầu - số 5 hàm ý thiên đỉnh và 4 hướng của trời đất và 5 yếu tố tạo thành trời đất: đất, nước, lửa, khí và hương thanh khí. Sadashiva là hiện thân cao nhất của Shiva toàn năng trên thế giới, là bản chất của năng lực sinh sôi; tất cả mọi sinh vật đều nảy sinh từ vị thần này.

Tượng nữ thần Laksmi làm bằng đá sa thạch màu xám xanh, cao 78cm, có niên đại thế kỷ VII. Tượng có khuôn mặt trái xoan, vóc dáng trẻ trung, kỹ thuật chế tác gần gũi với phong cách nghệ thuật tượng tròn Phù Nam. Thân tượng được phát hiện vào năm 1990, còn phần đầu và đoạn cánh tay tượng được tìm thấy năm 2002. Bảo tàng tỉnh đã gắn đầu và đoạn cánh tay vào thân tượng thành một pho tượng nữ thần Laksmi hoàn chỉnh.

Nếu 3 hiện vật nêu trên được công nhận Bảo vật quốc gia vào năm 2015, thì tượng nam thần trở thành bảo vật quốc gia vào ngày 31/12/2020. Tượng nam thần cao 19cm, rộng 10cm, nặng 1,8kg, tư thế ngồi quỳ, có đủ đầu, mình, 2 tay và 2 chân. Viện Khoa học xã hội vùng Nam bộ phát hiện pho tượng trong giếng thần xây bằng gạch ở hướng Bắc của tháp. Đây là tượng thần bằng đồng đầu tiên được tìm thấy trong các di tích khảo cổ ở Nam bộ.