鲁道夫与历任德意志国王一样，都把在罗马加冕为皇帝作为最终的政治目标，但是由于与奥托卡二世的争斗以及在这个时期教皇频繁的更替而迟迟无法实现。马希费尔德战役之后，鲁道夫再次试图与教皇尼古劳斯三世（Nikolaus III.，1210或1220—1280，1277—1280年在位）为加冕皇帝一事进行谈判，讨价还价。鲁道夫向教皇作出很大的妥协，他承认托斯卡纳是教皇的领地，同时还放弃对罗马涅地区的采邑权。然而，双方的谈判尚未达成协议，尼古劳斯三世就于1280年8月22日去世，鲁道夫的计划也付之东流。几个月的教皇空位之后，枢机主教团于1281年2月22日推举法国籍的红衣主教布里翁的西蒙（Simon de Brion）为教皇，称马丁四世（Martin IV.，1210—1285，1281—1285年在位）。马丁四世曾任已故法国国王路易九世（Louis IX，1214—1270，1226—1270年在位）的掌玺大臣，他也是安茹的查理二世的坚决支持者，这就让鲁道夫完全失去了与罗马教会修好的可能。直到1285年4月洪诺留四世（Honorius IV.，1210—1287，1285—1287在位）登上圣宗座之后，鲁道夫才又重新启动与罗马教会的谈判。政教双方约定，教皇在1287年的“圣母行洁净礼日”（Lichtmess）这天为鲁道夫举行皇帝加冕礼，但因为鲁道夫缺少前往罗马的经费不得不推迟。这年的3月，鲁道夫接受教皇使节图斯卡纳的红衣主教约翰内斯·博卡马奇（Johannes Boccamazzi，?—?）的建议，二人在维尔茨堡分别召开帝国会议和宗教会议，同时宣布向诸侯、城市市民和教士征收赋税，这就激起了德意志教俗诸侯以及市民的激烈反对和谴责，博卡马奇被迫离开德意志。恰逢此时，与鲁道夫达成协议的教皇洪诺留四世辞世，他再次丧失加冕为帝的机会，直到他去世都没有实现梦寐以求的愿望，最终也没有戴上皇帝的皇冠，反而因此在德意志的教俗贵族和城市中树敌。选侯们因为顾忌哈布斯堡家族不断扩张的势力，拒绝了鲁道夫临终前提出由其长子阿尔布雷希特一世继承德意志王位的要求，共同推举拿骚的伯爵阿道夫（Adolfvon Nassau，1250—1298，1292—1298年在位）为德意志的国王。