丘公祠，连同谢公祠、杨公祠、林公祠和谭公祠分别隶属于五大家族（五太岁）。这五大家族是早期槟城福建社区的支柱。自19世纪中叶以来，五大家族确定了各自的地盘。这些家族的势力范围从乔治敦的吉宁仔街(Chulia Street Ghaut)，一直延伸到南部下部的海滩街（Beach Street）。以各自的祠堂为核心，五大家族以祠堂周边一定范围内的三条或者四条排屋划分所属区域。这种彼此相连，互为纽带并且排外的居住环境，就像是殖民城市的氏族村庄，是一种公会在移民社区的形态，极为罕见。