申请回避的复议应该向谁提出？

在法律程序中，回避制度是为了保证案件能够得到公正的处理。当当事人认为某些人员与案件存在利害关系，可能影响案件的公正审判时，可以申请这些人员回避。如果申请回避被驳回，当事人有权申请复议。

根据《最高人民法院关于适用〈中华人民共和国刑事诉讼法〉的解释》第三十二条规定，当事人及其法定代理人、辩护人、诉讼代理人申请回避被驳回的，可以在接到决定时申请复议一次。对于不属于刑事诉讼法第二十九条、第三十条规定情形的回避申请，由法庭当庭驳回，并不得申请复议。在刑事诉讼中，被决定回避的人员对决定有异议的，可以在恢复庭审前申请复议一次；被驳回回避申请的当事人及其法定代理人对决定有异议的，可以当庭申请复议一次。通常情况下，复议申请是向作出驳回回避申请决定的机关提出。比如在审判阶段，如果是法院作出的驳回回避申请的决定，那么复议就向该法院提出。

在民事诉讼里，依据《中华人民共和国民事诉讼法》第四十九条，人民法院对当事人提出的回避申请，应当在申请提出的三日内，以口头或者书面形式作出决定。申请人对决定不服的，可以在接到决定时申请复议一次。复议期间，被申请回避的人员，不停止参与本案的工作。人民法院对复议申请，应当在三日内作出复议决定，并通知复议申请人。这里的复议也是向作出原决定的人民法院提出。

在行政诉讼中，《中华人民共和国行政诉讼法》虽然没有像民事诉讼法那样详细规定回避复议的内容，但通常参照民事诉讼的相关程序和原则，复议申请也是向作出驳回回避申请决定的人民法院提出。

总之，无论是刑事、民事还是行政诉讼，当申请回避被驳回后，申请复议一般都是向作出驳回决定的机关提出，这样能保证程序的连贯性和有效性，也便于当事人维护自己的合法权益。