西貢大廟是香港歷史最悠久的天后廟，故被稱呼為大廟。該廟屬於三開間單進設計，大殿供奉天后娘娘，右偏殿則有一座銅鐘及龍床。廟文物極為豐富：廟門額「天后古廟」為光緒三年（公元1877年）陳崇韜題寫，正殿內有嘉慶九年（公元1804年）鐵鑄香爐及石碑一座。其大門右之銅鐘為道光廿年（公元1840年）所鑄。大廟對開的水域成為佛堂門，因為水道南北各有一座廟。南佛堂應該比北佛堂早興建。
北佛堂旁的石刻於南宋咸淳甲戌年間，即1274年，為香港最早有紀年的刻石，記載鹽官嚴益彰與祖籍福州的朋友何天覺到南北佛堂門遊覽的事蹟，以及這處兩所廟宇的歷史。根據他們考證所得，宋真宗大中祥符五年（1012年）已經建有南佛堂石塔。
及後北佛堂有古碑，乃泉州人辛道朴建立，年代已不可考，只知是戊申年，即可能是1068年,1128年,1248年。石刻指出後來福州人鄭廣清重修南北佛堂。南宋咸淳二年(公元1266年)松堅之子林道義興建北佛堂天后廟(現今的大廟)。到了1274年，福州人三山人念法明與本地人林道義又重修南北佛堂。
崇禎三年（公元一六三○年），佛堂門復遭海盜大肆洗劫。參將陳拱不幸討賊陣亡。《新安縣志卷之十二‧下卷》記載如下：
海盜李魁奇率領一百多艘戰船浩浩蕩蕩地駛入佛堂門，企圖登岸劫掠。當時參將陳拱聞訊，立即調動戰船討賊，雙方發生海戰。這役，官兵擊敗海盜，奪得戰船七艘。
李魁奇受挫後，改變戰略，施行聲東擊西之計，率領戰船隊，繞過水師船，直搗南頭寨，聲勢浩大。陳拱眼見敵眾我寡，官兵勢單力薄，惟有退入城裡據守。海盜乘機登岸，並且架起雲梯攻城。守軍在城中負嵎頑抗，又在城頭放火銃殺賊，擊斃賊首，擊毀雲梯，阻止海盜登上城頭。海盜眼見城池久攻不下，惟有呼嘯而去。
不久，海盜又在電白、蓮花港出現，並且在附近一帶鄉鎮大肆洗劫。廣州巡撫下令陳拱統率戰船百餘艘剿賊。這次海寇之亂，雖報平定，但是陳拱卻不幸在苦戰中陣亡。
由南佛堂（東龍島）和北佛堂所組成的佛堂門在清朝時已經是廣東東莞縣的重要航道之一。因此，當地已有海軍駐紮。現時仍存有古稅關的遺址。
根據其他資料，傳說南宋理宗初年(公元1224-1264年)福建省莆田湄洲人氏林昌宗的兒子－林松堅和林柏堅兄弟出海經商，途經香港佛堂門，遇上颶風翻 船，兄弟二人抱緊「林氏大姑」(即日後天上聖母，當時尚未有封號)神像，後飄流至到東龍島北岸邊大難不死，二人咸感念「林氏大姑」保祐，於岸邊建廟酬謝神 恩，即日後之南佛堂天后廟。後香火漸多，林道義「扶神過海」，在佛門北塘另立一廟，是為北佛門天后廟。林憲斌還強調林道義建廟後，「役廟事神，子子孫孫， 世代相沿。
這裡最大的問題就是，一說南佛堂石塔建於1012年，另一說南佛堂建於1224-1264年。石塔是否就是佛塔？相同的是先建南佛堂，後建北佛堂。根據北佛堂的古碑，最遲應該建於1248年，但不早於1068年。在缺乏線索下，難以追查。
（參考：古物古蹟辦事處）
（參考：香港文化研究院）
（參考：宗族的聯合與分歧：竹園蒲崗林氏編修族譜原因探微）
