Mekke'nin fethi sırasında Hz. Peygamber tarafından bağışlanan Kureyşlilerden biri olup İslâm'dan önceki adı "Abdü Külâl" (Abdü Kelûl veya Abdü'l-Kâ'be) idi. Müslüman olunca Hz. Peygamber ona Abdurrahman adını verdi. Daha sonra Mûte seferine ve Tebük Gazvesine katıldı.

İlk defa akrabası Hz. Osman zamanında idarî kademede görev aldı. Irak'ın fethine katılarak bilhassa Horasan cephesinde savaştı. Basra genel valisi Abdullah b. Âmir tarafından Rebî' b. Ziyâd'ın yerine Sîstan valiliğine tayin edildi . Bu sırada Zerenc halkı isyan ederek Rebî' b. Ziyâd'ın nâibini kovunca Abdurrahman 8000 kişilik bir ordu ile Zerenci kuşattı; iki milyon dirhem para ve 2000 köle alarak kale kumandanı ile yeni bir anlaşma yaptı. Aynı orduyla Sîstan'a gelen bir grup din bilgini de yerli halka İslâmî esasları öğretmeye başladı. Abdurrahman daha sonra doğuya seferler düzenledi ve Hindistan yakınlarında Zerenc ile Kiş arasındaki yerleri ve Ruhhâc ile Zemindâver arasındaki bölgeyi ele geçirip buralardaki putları tahrip etti. Basra'ya dönünce Abdullah b. Âmir'in Halife Hz. Ali tarafından azledildiğini gördü; Cemel Vakasından sonra Muâviye'nin saflarına katıldı.

Hz. Hasan ile görüşmek üzere Muâviye tarafından gönderilen heyette o da yer aldı. Muâviye halife olunca Abdullah b. Âmir'i tekrar Basra valiliğine tayin etti. Abdurrahman da onun nâibi sıfatıyla emrindeki büyük bir orduyla Sîstan'a gitti. Abdullah b. Hâzim ile beraber Sîstan ve Horasan'da İslâm hâkimiyetini sağlamak için çalıştı. Zerenc'de Hasan-ı Basrî'nin üç yıl ders verdiği yerde bir cuma camii yaptırdı ve Hz. Osman devrinde fethedilmiş, ancak daha sonra İslâm hâkimiyetinden çıkmış olan toprakları geri almak için teşebbüse geçti. Bu gayretleri sonucunda Zâbülistan, Ruhhâc ve Büstü tekrar zaptetti. Bir ay süren kuşatmadan sonra Kâbil'i de ele geçirdi. Bu başarıları üzerine Muâviye tarafından Sîstan valiliğine tayin edildi. Muâviye 45  yılında İbn Âmir'i, ondan bir ay sonra da kendisini görevden alınca Basra'ya döndü ve beş yıl sonra orada vefat etti. Cenaze namazını Ziyâd b. Ebîh kıldırdı.

Abdurrahman b. Semüre son derece cesur ve mütevazi bir kumandandı. Doğrudan Hz. Peygamber'den  ve Muâz b. Cebel Den hadis rivayet etmiştir. Bilhassa, İslâm ahlâk ve hukukunun temel prensiplerinden sayılan, "Sakın kimseden riyâset isteme. Eğer isteğin üzerine sana riyâset verilirse, istediğin şey ile baş başa bırakılırsın; Allah'ın yardımına mazhar olamazsın. Eğer istemeden sana riyâset verilirse, o zaman Allah'tan yardım görürsün. Bir de, bir şeye yemin ettikten sonra başka bir davranışı daha hayırlı görecek olursan, yeminin için kefâret ödeyip hayırlı olanı işle!" (Buhârî) meâlindeki hadisin hem muhatabı hem de râvisi olarak şöhret bulmuştur. Rivayet ettiği on dört hadisin üçü Buhârî ile Müslim'de, ikisi de sadece Müslim'de bulunmaktadır. Kendisinden de Abdullah b. Abbas, Saîd b. Müseyyeb, Muhammed b. Sîrîn, Abdurrahman b. Ebû Leylâ ve Hasan-ı Basrî gibi sahâbî ve tâbiîler hadis rivayet etmişlerdir.