货运代理合同违约责任如何认定？认定双方违约的前提是双方均无正当理由而违反了合同的约定。如果一方当事人依法行使留置权或双务合同的抗辩权(先履行抗辩权或同时履行抗辩权)，虽然其行为也具有“不履行合同义务”的表象。
由上可知，本案中双方当事人都违反了自己的合同义务，依照《民法通则》和《》中有关双方违约的规定，应当各自承担相应的民事责任。也就是说，由各方分别对自己的违约行为向对方承担责任。在此不适用过错相抵原则，即不能因为双方均有违约行为，而都不必向对方承担违约责任。在责任确定后，可以对各方应承担的赔偿金额分别计算后再进行相互折抵，仅由一方支付折抵后的差额，不必由各方都进行一次现实的履行。但此并不是过错相抵。
当然，认定双方违约的前提是双方均无正当理由而违反了合同的约定。如果一方当事人依法行使留置权或双务合同的抗辩权(先履行抗辩权或同时履行抗辩权)，虽然其行为也具有“不履行合同义务”的表象，但行使留置权或合同抗辩权构成“违法阻却”，是正当的合法的行为，不能认定为双方违约。我们认为，本案中并不存在合法行使留置权或合同抗辩权的情况，理由如下：
1、我国《合同法》仅规定在仓储合同、保管合同、承揽合同、运输合同等特定类型的合同项下可以行使留置权。留置权为物权之一种。根据物权法定原则，在法律未明确规定时，货运代理人在货运代理合同或委托合同项下无权行使留置权。如果货运代理人以敦促委托人及时支付费用为目的，有意扣留单证，其行为没有法律依据仍构成违约。
2、合同抗辩权，是指债务人用以对抗人请求履行权利的权利。合同抗辩权行使的法律后果：一是对方履约请求权的效力被延搁，该合同的履行中止或被拒绝;二是债务人的行为不构成违约，不须承担违约责任。但是，一方当事人行使合同抗辩权必须符合一定的构成要件。要件之一，抗辩一方所负义务与对方所负义务具有对等性。对方如已履行主给付义务而仅未履行从给付义务，抗辩一方不得拒绝履行己方的主给付义务。同样，某项义务虽基于合同而产生，但依照法律规定、行业习惯或通常观念具有一定的独立性，这种义务应及时予以履行，负有该义务的一方也不得对之主张合同抗辩权。
在货运代理实务中，一般为货主(委托人)将报关单、外汇核销单与其他单证一并交给货运代理人(受托人)，货运代理人代为报关后，再将已经加盖了海关放行章的外汇核销单和报关单(出口退税联)返还给货主。货主收汇成功后，可以持收汇证明、报关单(出口退税联)和外汇核销单向税务部门申请出口退税。可见，货运代理人有义务按照合同约定代为报关，使委托人制作的报关单、外汇核销单经海关加盖放行章产生法律上的效力。货运代理人由此持有的报关、核销等单证既属处理委托事务所取得的财物，又是货方依法享受国家退税，使货物出口贸易顺利实施的必备文件。因此，我们认为报关单、外汇核销单是贸易、运输、报关环节中的特殊单证，向货主交付该类单证义务的履行具有一定的独立性，货运代理人在办妥报关事项后一般应及时交还该类单证。扣留单证不还的行为即构成违约。货运代理人交还单证的义务，与委托人支付报酬费用的义务应各自履行。