退休返聘人员不可以随时辞退。如果签订了聘用合同，应该按照合同规定予以辞退。对于是否赔偿，如果聘用单位与被聘用退休人员双方签订了聘用合同，聘用合同约定了解除时应当支付经济补偿金的情形，如果用人单位符合该支付情形，应按照聘用合同的约定予以支付。退休返聘是指用人单位中的受雇佣者已经到达或超过法定退休年龄，从用人单位退休，再通过与原用人单位或者其他用人单位订立合同契约继续作为人力资源存续的行为或状态。,法律依据：《中华人民共和国劳动合同法》第三十九条 劳动者有下列情形之一的，用人单位可以解除劳动合同：

（一）在试用期间被证明不符合录用条件的；

（二）严重违反用人单位的规章制度的；

（三）严重失职，营私舞弊，给用人单位造成重大损害的；

（四）劳动者同时与其他用人单位建立劳动关系，对完成本单位的工作任务造成严重影响，或者经用人单位提出，拒不改正的；

（五）因本法第二十六条第一款第一项规定的情形致使劳动合同无效的；

（六）被依法追究刑事责任的。