行政机关被撤销的，继续行使其职权的行政机关为被告。在本题中，甲行政机关被撤销后，其职权由上级机关统一行使，即上级机关为继续行使其职权的行政机关，提起行政诉讼应以该上级机关为被告。