Diminta Jadi Khalifah

Abu Ubaidah selalu mengikuti Rasulullah berperang dalam tiap peperangan yang beliau pimpin, hingga beliau wafat.

Dalam musyawarah pemilihan khalifah yang pertama (Al-Yaum Ats-Tsaqifah), Umar bin Al-Khathab mengulurkan tangannya kepada Abu Ubaidah seraya berkata,"Aku memilihmu dan bersumpah setia, karena aku pernah mendengar Rasulullah bersabda,'Sesungguhnya tiap-tiap umat mempunyai orang kepercayaan'. Dan orang paling dipercaya dari umat ini adalah engkau."

Abu Ubaidah menjawab,"Aku tidak mau mendahului orang yang pernah disuruh Rasulullah untuk mengimami kita shalat sewaktu beliau hidup --Abu Bakar Ash-Shiddiq. Walaupun sekarang beliau telah wafat, marilah kita imamkan juga dia."

Akhirnya mereka sepakat untuk memilih Abu Bakar menjadi khalifah pertama, sedangkan Abu Ubaidah diangkat menjadi penasihat dan pembantu utama khalifah.