Künyesi bazı kaynaklarda Ebû Zekeriyyâ olarak da kaydedilir. Doğum tarihi olarak yetmiş altı yaşında vefat ettiğine dair rivayete göre 782-83, seksen üç yaşında vefat ettiğine dair rivayete göre 776 yılları ortaya çıksa da 17 Mart 818 tarihinde kadılık göreviyle Basra’ya geldiğinde henüz on sekiz yirmi bir yaşlarında bulunduğu şeklindeki rivayet göz önüne alınarak 796 yılı civarında doğduğunu kabul etmek gerekir.
Nitekim 776-77’ta doğan İbn Ebû Duâd’ın Yahyâ b. Eksem’den yirmi yaş kadar büyük olduğu ve 198’de hilâfete geçen Me’mûn tarafından kadı tayin edilmeden önce yaşının küçüklüğü sebebiyle imtihan edildiğine dair bilgiler de bu rivayeti desteklemektedir.
Aslen Horasan’ın Merv şehrinden olup Câhiliye devri şair ve hatiplerinden, Hakîmü’l-Arab diye tanınan Eksem b. Sayfî et-Temîmî’nin soyundan gelir. Dedesi Muhammed b. Katan b. Sem’ân el-Üseyyidî, Emevîler’in Horasan valisi Esed b. Abdullah el- Kasrî’nin kumandanlarından iken daha sonra Abbâsî davetçilerine katıldı.
Bazı kaynaklarda ismi Ektem şeklinde kaydedilen babası da fıkıh öğrenimini İmam Ebû Hanîfe’nin, onun ardından talebesi Züfer’in yanında sürdürmüş (Bezzâzî, II, 124) ve Abdullah b. Mübârek’ten hadis rivayet etmiştir.
Yahyâ b. Eksem, başta Muhammed b. Hasan eş-Şeybânî olmak üzere dönemin ileri gelen âlimlerinden fıkıh ve Abdülazîz b. Ebû Hâzim, Abdülazîz b. Muhammed ed-Derâverdî, Cerîr b. Abdülhamîd, Süfyân b. Uyeyne, Vekî’ b. Cerrâh, Îsâ b. Yûnus es-Sebîî, Hafs b. Gıyâs, Yahyâ b. Saîd el-Kattân, Yahyâ b. Âdem gibi muhaddislerden hadis tahsil etti.
Kendisinden Kadî İsmâil b. İshak el-Cehdamî, Ali b. Medînî, Muhammed b. İshak es-Serrâc rivayette bulundu. Yahyâ ayrıca Vâsıt ve Bağdat’ta kadılık yapan Ebü’l-Abbas Ahmed b. Muhammed el-Birtî ve Tahâvî’nin hocası Ahmed b. Ebû İmrân’dan fıkıh öğrendi.
Genç yaşından itibaren devlet bürokrasisinde görev alan Yahyâ b. Eksem kadılık, kadılkudâtlık, kumandanlık, Dîvânü’s-sadakat başkanlığı, vezirlik gibi görevler yaptı. Zekâsı, bilgisi, bürokrasi deneyimi ve güçlü anlatımı ile Halife Me’mûn’un dikkatini çekti.
Halife 817 yılında Ali er-Rızâ’yı veliaht ilân ettiğinde kendisine verdiği ahidnâmeyi şahit sıfatıyla imzalayanlar arasında yer aldı. 815 başlayan Mübeyyiza isyanının bastırılmasının ardından Horasan’dan getirilerek 818 yılında Basra kadılığına tayin edildi.
Kendisini karşılayan Basralılar’ın yaşını sormalarından küçümsendiğini anlayınca Hz. Peygamber’in Mekke’ye vali tayin ettiği Attâb b. Esîd’den, Yemen’e gönderdiği Muâz b. Cebel’den ve Hz. Ömer’in Basra kadılığına gönderdiği Kâ’b b. Sûr’dan yaşça daha büyük olduğunu söyledi. Me’mûn tarafından Bağdat’a Ali b. Harmele et-Teymî’nin yerine kadılkudât tayin edildi. Me’mûn döneminde ülke yönetiminde en etkin iki kişiden biri oldu.