Na začátku příběhu usedlosti Ladronka stála především záliba Karla IV.ve vinné révě. Na motolských a břevnovských svazích rostly podle jeho přání rozsáhlé vinice, které v roce 1688 koupil italský hrabě Filip Ferdinand de la Crone, zjednodušeně Lacrone, z lidového oslovení hraběte Ladrone, vznikl také název Ladronka. Hrabě dal na svém panství postavit zájezdní hostinec, jehož rozkvět zajišťovala výhodná poloha při říšské silnici a poutní cestě z hradčanské Lorety do kláštera v Hájku u Unhoště. Šlo o barokní dům s jednoduchou fasádou a vysokou valbovou střechou, v této podobě se zachovala Ladronka dodnes.

Po válečných událostech a bojích o rakouské dědictví, byla Ladronka zničena, po následných opravách sice dál sloužila jako zájezdní hostinec. Její prosperita však upadala, protože v devatenáctém století byla postavena nová silnice, která již nevedla přímo okolo usedlosti. V roce 1922 přešla Ladronka do majetku města Prahy a dřívější hospodářské budovy byly upraveny pro bydlení, několik rodin zde bydlelo až do padesátých let minulého století. Později zde byly sklady Státniho statku, ale usedlost už jenom chátrala. Až v roce 1993 obsadila zničenou Ladronku skupina squatterů, kteří se pokusili alespoň trochu Ladronku oživit.

Provozovali zde centrum alternativní kultury, které bylo ve své době proslavené i mezi nezávislou subkulturou v Evropě. V roce 2000 byli squatteři násilím vystěhováni, ale Ladronka zůstává znovu prázdná a ve špatném stavu, přestože je zapsána ve Státním seznamu nemovitých kulturních památek. Obrat nastal až v roce 2002, kdy městská část Praha 6 ve spolupráci s hlavním městem Praha započala rekonstrukci celé usedlosti i přilehlého parku.