根据《安全生产许可证条例》第四条规定，省、自治区、直辖市人民政府建设主管部门负责建筑施工企业安全生产许可证的颁发和管理，并接受国务院建设主管部门的指导和监督。选项A错误，国务院安全生产监督管理部门主要负责中央管理的非煤矿矿山企业和危险化学品、烟花爆竹生产企业的安全生产许可证管理；选项B正确，D错误，北京市作为直辖市，其人民政府建设主管部门负责辖区内建筑施工企业安全生产许可证的颁发和管理；选项C错误，国务院建设主管部门只负责指导和监督，不直接颁发许可证。