退管会通常隶属于人力资源和社会保障局（人社局）或民政局，具体取决于其职能和所在地区的行政架构。人社局直属单位可能承担企业退休人员社会化管理的具体实施工作，而民政局则负责社会团体的登记管理工作，包括退休协会的设立、变更、注销等事项。
对于企业退休人员，退管中心可能属于人社局直属单位。
对于一般退休人员，退休协会可能属于民政局管理的社会团体。
在某些情况下，如学校和医学院等教育机构内，退管会可能隶属于学校行政部门或退休管理委员会。
退役军人事务局也可能涉及退休人员的服务管理工作，特别是对于退役军人。
请根据您所在地区的具体行政架构和退管会的具体职能来确定其隶属的部门
