Nhưng còn có một điều khác nữa khiến Âm Linh Tự trở thành nơi độc đáo duy nhất chỉ Lý Sơn mới có.
Đó chính là những vong hồn được thờ cúng ở Âm Linh Tự. Tên tuổi họ gắn liền với quá trình xác lập chủ quyền đối với các quần đảo Hoàng Sa, phần máu thịt thiêng liêng của Tổ quốc Việt Nam từng trải qua bao nỗi thăng trầm trong trường thiên cố cựu đời người và lịch sử. Ngày nay, họ được biết đến với tên gọi: Đội Hoàng Sa.
Dưới thời Tây Sơn (1778 – 1802), vua Tây Sơn Nguyễn Nhạc đã lập nên Đội Hoàng Sa.
Sau này, triều Tây Sơn diệt vong, triều Nguyễn xác lập, vua đầu tiên của triều Nguyễn là Gia Long vẫn duy trì Đội Hoàng Sa.