可以直接申请复议。当事人申请回避应当说明理由。被申请回避的人员在法院作出是否回避的决定前，应暂停参与本案的工作，但案件需要采取的紧急措施除外。法院应在回避申请提出的3日内，以口头或书面形式作出决定。申请人对决定不服的，可在接到决定时申请复议一次。复议期间，被申请回避的人员不停止参与本案的工作。法院应在3日内作出复议决定，并通知复议申请人。
1.回避主体
根据《民事诉讼法》第45条规定，回避的对象包括审判人员和其他人员。对于审判人员的范围，明确为各级人民法院院长、副院长、审判委员会委员、庭长、副庭长、审判员和助理审判员;其他人员包括人民陪审员、执行员、书记员、翻译人员、鉴定人员、勘验人员。
2.回避方式和程序
《民事诉讼法》44条规定，审判人员和其他人员有法定情形之一的，必须回避，当事人有权用口头或者书面方式申请他们回避，可见我国回避制度的方式是自行回避和申请回避并用。自行回避即审判人员和其他人员在法律规定的情形出现时，应主动退出该案件的审判及其他相关工作;申请回避则是仅属于当事人及其法定代表人的权利，根据《民事诉讼法》的规定，当事人应当在案件开始审理时提出回避申请，说明理由，如果回避事由是在案件开始审理后知道的，也可以在法庭辩论终结前提出。
法院对当事人提出的回避申请，应当在申请提出的三日内，以口头或者书面形式作出决定。申请人对决定不服的，可以在接到决定时申请复议一次。院长担任审判长时的回避，由审判委员会决定;审判人员的回避，由院长决定;其他人员的回避，由审判长决定。
3.回避事由
《民事诉讼法》5条规定了三种情况可作为回避事由：一是本案当事人或者当事人、诉讼代理人的近亲属;二是与本案有利害关系;三是与本案当事人有其他关系可能影响对案件的公正审理的。但是《民事诉讼法》并没有对“利害关系”、“其他关系”、“可能影响”等较为模糊的词语具体规定。
学术界中，一般认为“与本案有利害关系”主要是指与案件的处理结果有法律上的利害关系，涉及相关人员的利益;“其关系”是指在前两种情形之外的某种关系，诸如老上级、老部下、老同事、老同学、老朋友等;有可能影响秉公办案的，但是必须以“可能影响对案件公正审理”为前提条件，不能不加分析的一律回避。”
除了这三种情形，还增加了若干种情形，如担任过本案的证人、鉴定人、勘验人、诉讼代理人的;审判人员在一个审判程序中参与过本案审判工作的;同时还规定了参与五种不法行为的审判人员和其他人员也必须回避。虽然这些情形也可以概括为“与本案当事人有其他关系可能影响对案件的公正审理的”，但是更为明确的法律规定对司法实践的统一无疑是有巨大帮助的。同时，这些补充性质的规定，也为完善民事诉讼回避事由提供了思路和启示。
4.回避的法律后果
被申请回避的人员在法院作出是否回避的决定前，应当暂停参与该案的工作，除非需要采取紧急措施;但被驳回申请的当事人申请复议的，复议期间被申请回避的人员不停止参与该案的工作。关于“紧急措施”的范围，法律缺乏明确的界定，学术界的主流观点认为，主要是指财产保全和证据保全。’
回避的另一个法律后果，是法院作出回避决定后，被决定回避的人员已完成的有关工作是否有效。对此，法律没有明文规定。有学者认为对被决定回避的人员已完成的诉讼行为应当一律规定为无效，也有学者认为应当区别情况对待，若审判人员被决定回避，则由审判长或更换后的审判长对该回避人员所作的诉讼行为进行审查，违反法定程序的行为才被认定无效，但鉴定行为一律无效。两种思路各有利弊，本文将在其后阐述自己的观点。
5.违反回避制度的法律责任
《民事诉讼法》并没有对违反回避制度的法律后果及法律责任作出明确规定，但是在第153条、第179条涉及上诉案件、再审案件的法律条文中有如下内容“原判决违反法定程序，可能影响案件正确判决的，裁定撤销原判决，发回原审人民法院重审。”“审判组织的组成不合法或者依法应当回避的审判人员没有回避的，人民法院应当再审”。
由此可见，应当回避而未回避的案件由于程序的不合法，效力也是有瑕疵的。但是在上诉案件中，如果仅违反法定程序，而未影响案件实体判决、裁定的，并不在发回重审的范围之列。这在一定程度上显示出我国重实体、轻程序的司法理念。庆幸的是，这种做法被修正过来，对违反法定程序、不执行回避的情形作出了“应当裁定撤销原判，发回原审人民法院重新审判”的规定。
所以当事人的诉讼回避被驳回是可以申请复议一次。但是要注意，当事人就算是申请了复议，在复议的期间被申请回避的工作人员，他依然是可以参与到当事人之前参与的案件当中的，而且法院在收到复议申请之后，会在三天之内作出决定，然后把结果通知到申请人处。
一、刑事案件的回避谁批准
审判长、审判员由本院院长决定。前提：院长没有为本案的审判人员。
第二十八条审判人员、检察人员、侦查人员有下列情形之一的，应当自行回避，当事人及其法定代理人也有权要求他们回避：
（一）是本案的当事人或者是当事人的近亲属的；
（二）本人或者他的近亲属和本案有利害关系的；
（三）担任过本案的证人、鉴定人、辩护人、诉讼代理人的；
（四）与本案当事人有其他关系，可能影响公正处理案件的。
第二十九条审判人员、检察人员、侦查人员不得接受当事人及其委托的人的请客送礼，不得违反规定会见当事人及其委托的人。
审判人员、检察人员、侦查人员违反前款规定的，应当依法追究法律责任。当事人及其法定代理人有权要求他们回避。
第三十条审判人员、检察人员、侦查人员的回避，应当分别由院长、检察长、公安机关负责人决定；院长的回避，由本院审判委员会决定；检察长和公安机关负责人的回避，由同级人民检察院检察委员会决定。
对侦查人员的回避作出决定前，侦查人员不能停止对案件的侦查。
对驳回申请回避的决定，当事人及其法定代理人可以申请复议一次。
第三十一条本法第二十八条、第二十九条、第三十条的规定也适用于书记员、翻译人员和鉴定人。
因篇幅问题不能全部显示，请点此查看更多更全内容