法律分析：
祖父母不能要回孙子的抚养权。但父母死亡，或父母存在虐待子女但法定情形下，祖父母可以向人民法院提出变更扶养关系的请求。根据相关法律规定，有负担能力的祖父母、外祖父母，对于父母已经死亡或者父母无力抚养的未成年孙子女、外孙子女，有抚养的义务。
法律依据：
《中华人民共和国民法典》第一千零七十四条
【祖孙之间的抚养、赡养义务】有负担能力的祖父母、外祖父母，对于父母已经死亡或者父母无力抚养的未成年孙子女、外孙子女，有抚养的义务。
有负担能力的孙子女、外孙子女，对于子女已经死亡或者子女无力赡养的祖父母、外祖父母，有赡养的义务。