早年乡人去海门进海鱼回乡或到县里售卖，因当时没有便捷交通工具，山路也难行走，且为赶早市，小贩们须半夜徒步结伴出门。一路翻山越岭，途经大闸，大军岭等地，所过之处大多是荒郊野外。 传说，当年乡人结伴出门除带买卖所需之物品钱财外还需带另一物件，那就是我们用来拜天拜地拜神拜鬼用的香。

故事应该从更早年间讲起，乡人老五是乡里较早的鱼贩，他每夜都到海门湾进海鱼一担回乡售卖，虽差价颇丰，但每次满满的两筐鱼挑担到乡里总是只剩两半筐，老五总疑是山路颠簸使鱼散掉于途中，但多次原路返找却从未有果，甚是不解。一日，老五闲来无事就将此事说给妻子林氏知道，其妻林氏是个神婆，能通阴阳，听完老五诉说后就当场点香摆案为老五查明原由。

原来乡里至海门湾一路罕无人烟，豺狼虎豹又常有出没，多年来饿死冻死或被猛兽食于口中的人不计其数，因此途中多有孤魂野鬼。林氏怕老五悉知后再不敢去做买卖，便让老五每次夜里出门都带着香，且要点上，这样那些孤魂野鬼便不再食其筐中海鱼。

故此，后来乡人深夜过海门或外出买卖都必点香上路。每年农历七月也会到大路口或野外用贡品祭拜这些不知名的孤魂野鬼，乡人俗称“拜孤圣”。