হোয়াইট হাউস নিয়ে কিছু ভৌতিক কাহিনী প্রচলিত আছে। বলা হয়, ব্রিটিশ প্রধানমন্ত্রী উইনস্টন চার্চিল একবার হোয়াইট হাউসের লিংকন বেডরুমে সাবেক মার্কিন প্রেসিডেন্ট আব্রাহাম লিংকনের নগ্ন ভূত দেখতে পেয়েছিলেন। পরদিন তিনি দ্বিতীয়বার ওই রুমে থাকতে অস্বীকার করেন। হোয়াইট হাউসের কর্মীদের ‘বদৌলতে’ এ গল্পের আরও অনেক শাখা-উপশাখা শুনতে পাওয়া যায়।