لا نعرف بالضبط المدة الزمنية التي مضت على يوسف ومريم والطفل يسوع في مصر. ولكن عندما كلّم ملاك الرب القديس يوسف للمرة الثالثة في متى 19:2-23، أطاع يوسف كلمة الله كعادته وبدون تردد، وعاد إلى وطنه. وبسبب حرصه على مريم وطفلها يسوع، لم يذهب يوسف إلى بيت لحم لقربها من القدس حيث أصبح أرخيلاوس ملكاً خلفاً لأبيه، بل توجه إلى الناصرة بعيداً عن الخطر حيث يستطيع أن يوفر الحماية للقديسة مريم وابنه بالتبني دون قلق. بعد ذلك لم يُذْكَر يوسف إلا مرة واحدة وأخيرة وهي مرافقته لمريم ويسوع في زيارة القدس، عندما كان عمر يسوع 12 عاماً. بعد ذلك ينتهي ذكر يوسف نهائياً، فقد أدى دوره بأمانة، وبعدها صمت الوحي المقدس عن ذكره نهائياً.