وُلد حوالي عام 306 م في مدينة نصيبين إحدى بلاد ما بين النهرين (الميصة). كان والداه مسيحيين، إذ قال: "وُلدت في طريق الحق، مع إنني في صبوتي لم أدرك عظمة الحق، وإنما عرفته بالتجربة"، كما قال: "كان والديّ معترفين أمام القاضي، نعم إني قريب للشهداء". التصق بالقديس مار يعقوب أسقف نصيبين، ويقال أنه صحبه معه في مجمع نيقية عام 325 م. بعد موت مار يعقوب بقى مار أفرام ملتصقًا بالثلاثة الأساقفة خلفائه على الكرسي، ربما كرئيس للمدرسة التابعة للكرسي.