نشأ الشيخ في أسرة عرفت بالعلم والفضل؛ فقد تربى في بيت والده الذي كان من علماء بلده؛ فقد تلقى الأب تعليمه الشرعي في المعاهد الشرعية في اسطنبول ثم عاد إلى ألبانيا للدعوة وتعليم الناس وإمامتهم في الصلاة، وكان هذا الوالد حريصًا على تربية أولاده التربية الدينية الحسنة، فقد كان الطابع العام لألبانيا وقتئذ هو الطابع الإسلامي المحافظ، حتى جاء عهد الملك أحمد زوغو -الّذي كان الشيخ الألباني إذا ذَكَرَ اسمَه قال: (الّذي أزاغ اللهُ قَلْبَه)- الذي حَكَم ألبانيا في المدة ما بين 1928 - 1939م؛إذ بدأ زوغو بفرض مظاهر الشيوعيَّة على هذا الشعب المسلم؛ ومن أبرز ذلك: منع ارتداء الحجاب، ومنع الأذان باللغة العربية مما دفع بهذا الأب إلى الهجرة عن بلده ومسقط رأسه؛ فرارًا بدينه وحفاظًا على أولاده فاتجَّه بأسرته ومن ضمنهم الشيخ إلى بلاد الشام عن طريق البحر، فنزل بيروت أولًا ثمَّ ما لبث أن انتقل إلى دمشق فاستوطنها؛ للفضائل الحديثيَّة النبويَّة المرويَّة فيها، ولقرب مناخها من مناخ ألبانيا. وقد كان الشيخ يبلغ من العمر حينها تسع سنوات. وقيل: ثلاث عشرة سنة. فنزل والده في حي الديوانية وهو حيٌّ من أحياء دمشق الشعبية، نزل فيه المسلمون المهاجرون من بلاد البلقان.
بعد وصول الشيخ -رحمه الله- إلى دمشق ألحقه والده بـ(مدرسة الإسعاف الخيرية الابتدائية) في حي البزورية بجوار قصر العظم، واستمر في هذه المدرسة حتى أحرقت أيام الثورة ضد الفرنسيين فانتقل إلى مدرسة أخرى في حي ساروجة استمر فيها لحين انتهائه من المرحلة الابتدائية التي اجتازها في أربع سنوات؛ وذلك لتفوقه ومراعاة لسنَّه فقد كان يكبر أقرانه، فأنهى الصف الأول والثاني في سنة واحدة. ومن الجدير بالذكر أنَّ الشيخ -رحمه الله- لم يكن يعرف اللُّغة العربية؛ فقد تعلمها لما التحق بالمدرسة الابتدائية في دمشق، فأتقنها في سنتين، وفاق أقرانه من العرب السوريين في اللغة العربية. حتى وصل الأمر بمعلم اللغة العربية الذي كان يدرسه أنْ عيَّر زملاءه به فكان يقول: «أليس من العيب أن يكون هذا الأرنؤوطي أفضل منكم وهو ليس بعربي؟!».
وعلى الرغم من نبوغ الشيخ في المدرسة وتفوقه إلا أنَّ والده لم يقتنع بالطريقة التي يدرس فيها الطلاب في المدارس النظامية؛ فأخرج ولده من المدرسة -مُبكِّرًا- ليتلقى العلم على أيدي المشايخ والعلماء؛ فبدأ الشيخ -رحمه الله- بطلب العلم عند والده الذي وضع له برنامجًا علميًّا لتعلم القرآن حفظًا وتجويدًا، ولتعلم النحو والصرف والبلاغة، والفقه الحنفي الذي كان والده متقنًا له. فختم الشيخ القرآن تلاوة على والده. وكان حريصًا على معاهدة القرآن حتى أثناء عمله في دكان تصليح الساعات. قال الشيخ الألباني -رحمه الله-: «أنا أعرف من نفسي - ولله الحمد - من نعومة أظفاري - كما يقولون - عندما كنت في الدكان أصلح الساعات كنت أضع المصحف أمامي، ليس فقط أن أقرأ بل وأحفظ شيئًا وأنا في عملي، أتأوَّل هذا العمل من قول النبي ﷺ: (تعاهدوا القرآن)». ولفقره وقلة الكتب عنده يمم وجهه شطر المكتبة الظاهرية؛ لقراءة الكتب والمخطوطات فكان يقضي فيها جلَّ وقته. كما كان يتردد على أكبر مكتبات دمشق الخاصة التي يملكها سليم القصيباتي وابنه غالب، اللذان كانا يعيران الشيخ ما يحتاجه من كتب بلا أجر أو زمن محدد. كما كان يتردد على (المكتبة العربية الهاشمية) في دمشق؛ لصاحبها أحمد عُبيد، وأخيه حمدي عُبيد؛ ومِنها استأجر كتاب «تخريج أحاديث إحياء عُلوم الدِّين» للحافظ العراقي -الآتِي خَبَرُه فيما بعد-.