Asunto-osakeyhtiö Pankkitalo sai nimensä siinä sijainneen Suomen Pankin konttorin mukaan. Talossa oli myös Säästöpankin konttori ja rakennusvaiheessa taloa kutsuttiin Säästöpankkitaloksi.

Talon rakentaminen aloitettiin huhtikuussa 1949 ja se valmistui käyttöönsä 15.12.1950. Valmistuessaan taloon tuli yksitoista myymälähuoneistoa, ja 42 asuinhuoneistoa, viisi konttoria, kaksi pankkia elokuvateatteri ja kellarikerrokseen varastotilojen ohella pesula, sauna, kuivaamo ja mankelihuone. Pankkitalon hallitukseen valittiin silloinen ministeri, myöhemmin Suomen tasavallan presidentti Urho Kaleva Kekkonen.

Kekkonen kuului tuolloin Suomen Pankin johtokuntaan ja As. Oy Pankkitalon johtokuntaan oli valittava joku Suomen Pankin jäsen. Valinta osui Urho Kekkoseen. Tämä on ainoa taloyhtiö, missä Suomen presidentti on ollut sen johtokunnassa.

Asunto-osakeyhtiö Pankkitalo on päällystetty Nunnanlahden vuolukivellä ja talon julkisivuun on tehty reliefi.