A XVIII. század végén épült Apsley House több, mint 200 éven keresztül viselte a "No. 1. London" házszámot, mivel annak idején ez volt a legelső ház nyugati irányból közelítve a vámsorompó után. Az épületet 1820-ban a kormány Wellington hercegének ajándékozta érdemeiért, miután Arthur Wellesley, Wellington első hercege 1815-ben Waterloo-nál győzelmet aratott Napoleon felett.

A ház eredetieleg 1771-78 között – Robert Adam tervei alapján – jellegzetes vörös téglából épült, Apsley báró részére, akiről a nevét is kapta. A ház 1807-ben került a Wellesley családhoz, először Richard-hoz, aki pénzügyi nehézségei miatt hamarosan eladta káprázatos katonai sikereket elért öccsének, aki ezidőtájt – politikai ambíciói miatt – londoni rezidenciát keresett magának.

A herceg kibővítette és átépíttette a házat, hogy társadalmi és politikai rangját hangsúlyozza. Az épület ekkor nyerte el mai képét a korintoszi oszlopsorral, az ekkortájt divatos bath-i terméskő homlokzatával és a műkincsgyűjteménynek helyt adó, ekkor megépült, 30 méter hosszú Waterloo galériával.

A katonai sikerei miatt hálás spanyol király pazar ajándékokkal halmozta el Wellington hercegét, aki így komoly műkincsgyűjteményre tett szert, amelyet ma az épületben működő múzeum mutat be. A kiállításon megtekinthetőek többek között Goya, Rubens és Van Dyck festményei, különleges porcelánok, ezüst műtárgyak, szobrok és bútorok, valamint a lépcsőházat uraló, grandiózus, meztelen Napóleon márványszobra, amely Canova alkotása. A múzeum emlékeket őriz a herceg életéből is: kiállításra kerültek egyenruhái, kitüntetései, kardjai és egyéb személyes használati tárgyai.

Gerald Wellesley (Wellington 7. hercege) 1947-ben a nemzetnek adományozta a házat és a káprázatos gyűjteményt, ami azóta megtekinthető, de a herceg leszármazottai ma is a házban kialakított privát lakrészben élnek.