农村乡政府能认定违章建筑。在城镇中国有土地上的违建，是要由县级政府规划部门认定；在农村集体土地上的违建，要由乡镇政府进行认定。因此，只有政府及其相关部门才有权利认定建筑是否是违建。认定的程序政府主管部门必须经过一系列严格的程序，才能认定为违章建筑：1、在接到举报或是在核查中发现建筑存在违建可能的，政府主管部门要先对该建筑进行调查取证。2、需要在现场采用询问、拍照、视频等方式记录该建筑的位置、结构、面积、修建时间、房屋权属等一系列详细问题，调取房屋登记部门的登记材料加以比对，还需要对该建筑的所有人进行询问，并制作相应的询问笔录。3、而询问笔录是需要经被询问人签字确认才能作为合法有效的证据材料的，因此被询问人在签字前一定要认真仔细核对询问笔录中的内容，与描述不相符的地方也应当告知记录人改正，拒不改正的应拒绝签字并通过录音、录像等方式进行记录留作证据。4、政府主管部门根据调查取证的记录，结合房屋登记部门的记录，以城乡规划法等相关法律法规为基础，再认定房屋是否为违建。最后，政府主管部门以书面方式告知当事人的建筑是否被认定为违建，以及相关的事实、法律依据以及当事人所享有的权利，之后再作出责令限期拆除决定书并送达当事人。救济措施，在房屋被认定为违建后，可以进行维权：当事人依旧享有复议或提起行政诉讼的权利。在收到责令限期拆除决定书后，若是持有相关证据，并认为不属于违建的，当事人应在60日内提起行政复议或是在6个月内向法院提起行政诉讼。通过上级政府的复议决定或者法院的判决，来改变最初的违建认定，以此来保护自己的合法权益。综上所述，建筑是否违法必须经政府相关部门认定并出具书面告知书，经过上述程序后才能认定是否为违建。【法律依据】；《中华人民共和国城乡规划法》第六十四条 未取得建设工程规划许可证或者未按照建设工程规划许可证的规定进行建设的，由县级以上地方人民政府城乡规划主管部门责令停止建设；尚可采取改正措施消除对规划实施的影响的，限期改正，处建设工程造价百分之五以上百分之十以下的罚款；无法采取改正措施消除影响的，限期拆除，不能拆除的，没收实物或者违法收入，可以并处建设工程造价百分之十以下的罚款。