Lễ giỗ Bà Thứ phi Hoàng Phi Yến là một lễ hội truyền thống thuộc Di tích lịch sử văn hóa cấp tỉnh An Sơn Miếu, được UBND tỉnh xếp hạng di tích cấp tỉnh tại Quyết định số: 1442/QĐ-UB ngày 18/4/2007.
Bà Phi Yến là Thứ phi của chúa Nguyễn Ánh, hiện được thờ tại Di tích lịch sử văn hóa cấp tỉnh "An Sơn Miếu" được xây dựng năm 1958. Năm 1783, chúa Nguyễn Ánh bị quân Tây Sơn truy đuổi đã chạy ra Côn Đảo lánh nạn. Bà Thứ phi Hoàng Phi Yến cùng chạy theo ông ra đảo. Theo truyền thuyết, bà bị chồng giam giữ trong một hang đá trên một hòn đảo hoang vắng nằm về phía Tây Nam của đảo chính, do phạm vào tội ngăn cản Nguyễn Ánh cầu viện Pháp.
Con trai của bà Phi Yến và chúa Nguyễn Ánh là Hoàng Tử Cải (Hoàng Tử Hội An) khóc lóc đòi mẹ cũng đã bị Nguyễn Ánh khép vào tội a tòng với mẹ và bị ném xuống biển, xác trôi dạt vào làng Cỏ Ống, được Nhân dân làng Cỏ Ống vớt đem chôn và lập miếu thờ. Ngày nay, miếu và mộ Hoàng Tử Cải vẫn còn tại làng Cỏ Ống.
Khi bị giam trong hang đá, bà Phi Yến đã được con vượn bạch nuôi sống bằng những trái rừng và sau đó vượn bạch cùng bắc hổ (con vật này bạn của Hoàng Tử Cải) cứu sống ra khỏi hang và đưa về làng Cỏ Ống, nơi có nấm mộ con bà.
Năm 1785, tại làng An Hải có tổ chức cúng tế trong làng theo lệ thường hằng năm vào rằm tháng 10 Âm lịch. Bà Phi Yến được dân làng trọng thị rước về cùng tham dự cho thêm phần long trọng. Tại đây, bà đã bị tên đồ tể người làng An Hải là Biện Thi xâm phạm đến danh tiết. Bà đã tự vẫn để giữ vẹn danh tiết. Bà mất vào ngày 18/10 Âm lịch năm 1785. Để tỏ lòng thương tiếc, dân làng đã xây một ngôi đền để thờ bà. Sang thế kỷ XIX, năm 1861, thực dân Pháp chiếm Côn Đảo, thiết lập nhà tù và cho di dời toàn bộ dân về đất liền, do đó ngôi miếu không được chăm sóc đã bị hư hỏng, sụp đổ.
Đến năm 1958, trên nền ngôi đền thờ ngày xưa, một ngôi miếu nhỏ thờ bà Phi Yến mới được xây dựng lại và đặt tên là "An Sơn Miếu".
Từ đó đến nay, qua nhiều lần trùng tu và tôn tạo, ngôi miếu được khang trang như ngày nay. Để tưởng nhớ bà, vào ngày 17 và 18 tháng 10 Âm lịch hằng năm, Nhân dân làng An Hải xưa và người dân Côn Đảo nay lại long trọng tổ chức lễ giỗ Bà. Thông qua các hoạt động cúng giỗ theo nghi thức dân gian truyền thống như tế lễ, dâng hương, lễ rước bài vị, các loại hình sinh hoạt văn hóa dân gian để Nhân dân tưởng nhớ công đức của Bà.
Người dân Côn Đảo xem bà Phi Yến như một vị thần phò trợ cho cuộc sống của họ. Dù trải qua rất nhiều thăng trầm của lịch sử, ở bất kỳ giai đoạn nào, người dân trên đảo vẫn giữ tục thờ cúng Bà.
Những năm gần đây, ngày giỗ bà Phi Yến đã trở thành một lễ hội văn hóa lớn trong năm, được Đảng bộ, chính quyền, dân và quân Côn Đảo tổ chức trang trọng và từng bước nâng lễ giỗ Bà hàng năm thành lễ hội truyền thống của địa phương, phù hợp tập quán và đáp ứng nhu cầu tâm linh của Nhân dân trên đảo.