REPUBLIKA.CO.ID, Pada suatu ketika, utusan kaum Nasrani datang menghadap Rasulullah seraya berkata, "Wahai Abu Qasim, kirimlah kepada kami seorang sahabat anda yang pintar menjadi hakim tentang harta yang menyebabkan kami berselisih sesama kami. Kami senang menerima putusan yang ditetapkan kaum Muslimin."
"Datanglah sore nanti, saya akan mengirimkan kepada kalian 'orang kuat yang terpercaya'," kata Rasulullah SAW.
Umar bin Al-Khathab berujar, "Aku ingin tugas itu tidak diserahkan kepada orang lain, karena aku ingin mendapatkan gelar 'orang kuat yang terpercaya'."
Selesai shalat, Rasulullah menengok ke kanan dan ke kiri. Umar sengaja menonjolkan diri agar dilihat Rasulullah. Namun beliau tidak menunjuknya. Ketika melihat Abu Ubaidah, beliau memanggilnya dan berkata, "Pergilah kau bersama mereka. Adili dengan baik perkara yang mereka perselisihkan!"
Abu Ubaidah berangkat bersama para utusan tersebut dengan menyandang gelar "orang kuat yang terpercaya".
Abu Ubaidah selalu mengikuti Rasulullah berperang dalam tiap peperangan yang beliau pimpin, hingga beliau wafat.
Dalam musyawarah pemilihan khalifah yang pertama (Al-Yaum Ats-Tsaqifah), Umar bin Al-Khathab mengulurkan tangannya kepada Abu Ubaidah seraya berkata, "Aku memilihmu dan bersumpah setia, karena aku pernah mendengar Rasulullah bersabda, 'Sesungguhnya tiap-tiap umat mempunyai orang kepercayaan. Dan orang paling dipercaya dari umat ini adalah engkau."
Abu Ubaidah menjawab, "Aku tidak mau mendahului orang yang pernah disuruh Rasulullah untuk mengimami kita shalat sewaktu beliau hidup—Abu Bakar Ash-Shiddiq. Walaupun sekarang beliau telah wafat, marilah kita imamkan juga dia."
Akhirnya mereka sepakat untuk memilih Abu Bakar menjadi khalifah pertama, sedangkan Abu Ubaidah diangkat menjadi penasihat dan pembantu utama khalifah.
Abu Ubaidah meninggal dunia karena terkena penyakit menular yang mewabah di Syam. Menjelang wafatnya, ia berwasiat kepada seluruh prajuritnya, "Aku berwasiat kepada kalian. Jika wasiat ini kalian terima dan laksanakan, kalian tidak akan sesat dari jalan yang baik, dan senantiasa dalam keadaan bahagia. Tetaplah kalian menegakkan shalat, berpuasa Ramadhan, membayar zakat, dan menunaikan haji dan umrah. Hendaklah kalian saling menasihati sesama kalian, nasihati pemerintah kalian, dan jangan biarkan mereka tersesat. Dan janganlah kalian tergoda oleh dunia. Walaupun seseorang berusia panjang hingga seribu tahun, dia pasti akan menjumpai kematian seperti yang kalian saksikan ini."
Kemudian dia menoleh kepada Mu'adz bin Jabal, "Wahai Muadz, sekarang kau yang menjadi imam (panglima)!"
Tak lama kemudian, ruhnya meninggalkan jasad untuk menjumpai Tuhannya.