Первоначально галерея располагалась в особняке Ангерстайна на улице Пэлл-Мэлл. В самом центре Лондона. Позднее галерея переехала на Трафалгар-сквер. Здесь в 1834-1838 годах было построено новое здание в любимом англичанами неоклассическом стиле по проекту архитектора Уильяма Уилкинса. Правда, некоторое время, до 1869 года, она делила помещение с Королевской Академией художеств.