لیکن جب مغل خاندان کا زوال شروع ہوا تو اسکے ساتھ ہی تاج محل کی خستگی اور شکستہ حالی شروع ہو گئی۔ دیکھ بھال اور نگرانی کے نہ ہونے سے اسکے باغات اجڑ گئے۔ اسکی آبشاریں اور فوارے خشک ہو کر کھنڈرات میں تبدیل ہو گئے۔ جب اسکا کوئی محاظ نہیں رہا تو لٹیروں کی بن آئی اور انہوں نے عمارت سے قیمتی پتھر اور سامان کو لوٹ لیا۔ لوگوں اور زمانے کے ہاتھوں یہ خوبصورت عمارت ویران و بنجر ہو کر عبرت کا ایک نمونہ بن گئی۔ برطانوی حکومت کے ابتدائی دور میں انگریزوں نے بھی اس عمارت کو لوٹنے میں برابر کا حصہ لیا۔
جب کوئی تاج محل کی سیر کو جاتا تھا تو اپنے ساتھ ایک ہتھوڑا اور چھینی لے جاتا تھا۔ اور وہ دوپہر بھر یہ کام کرتے تھے۔ کہ شہشاہ اور اسکی ملکہ کے تابوتوں پر لگاۓ ہوۓ قیمتی پتھروں کو نکالیں اور اپنے ساتھ لے آئیں۔
اس بربادی اور لوٹ کے ساتھ ہی تاج محل نے ولیم بینٹنگ (۳۳ـ۱۸۲۳ء) جو کہ ہندوستان کے واسرائے تھے، کے زمانے میں ایک اور بحران دیکھا۔ ان کے دور میں برطانوی حکومت ہند نے یہ فیصلہ کیا۔ کہ دہلی اور آگرہ میں مغلوں کی عمارتوں کو منہدم کر کے ان سے حاصل شدہ سنگ مرمر کو انگلستان کی منڈیوں میں فروخت کر کے روپیہ حاصل کیا جاۓ۔ اس سلسلہ میں دہلی کے لال قلعہ کی کچھ عمارتوں سے سنگ مرمر کو اکھیڑ کر انگلستان روانہ بھی کر دیا گیا۔
اس پر عمل کی غرض سے عمارت کو گرانے کے لیئے بھاری مشینیں آگرہ روانہ کر دیا گیا۔ جو تاج محل کے باغات میں کام کے لیئے تیار تھیں۔ لیکن تاج محل کی یہ خوش قسمتی تھی کہ خاص اسی وقت لندن سے یہ پیغام وصول ہوا کہ پہلے بھیجے ہوۓ سنگ مرمر کا نیلام کامیاب نہیں رہا اسلیئے مزید اور نہیں بھیجا جاۓ۔
