Il palazzo risale agli inizi del 1700. Venne costruito dai Marchesi Natta, signori del luogo ed è in stile barocco con pregiati affreschi ai soffitti.
Originariamente era la residenza del Podestà, persona di fiducia del Marchese con il compito di amministrare la giustizia ed il patrimonio per conto dei Nobili Natta.
Nel 1805, dopo oltre quattro secoli di padronanza, finisce il dominio assoluto dei Natta su Isola. L'ultima discendente dei fondatori, la Marchesa Virginia, a causa dei debiti accumulati dal padre Enrietto II, è costretta a vendere la sua proprietà. Il palazzo viene acquistato dagli Iraldi, facoltosa famiglia originaria di Mombercelli. Degli Iraldi, va ricordato in particolare Ottaviano, avvocato, Cavaliere di San Maurizio e Lazzaro, Sindaco di Isola dal 1862 al 1868. Dopo alterne vicende, agli inizi del 1900, l'immobile, insieme alle consistenti proprietà terriere della cascina, passa alla famiglia Ivaldi di Costigliole imparentatasi con gli Iraldi.
Nel 1998 i figli della sig.ra Gabriella Raverditi ved. Raballo, ultima discendente in linea diretta degli Ivaldi per parte di madre, vendono il palazzo al sig. Johnny Laager, originario di Zurigo (Svizzera).
Egli, con lungimiranza, trasforma l'edificio con ricchezza di arredi e con finezza di gusto in un sontuoso albergo di elevato prestigio con l'accortezza di mantenere l'originaria struttura, valorizzando e conservando gli affreschi ai soffitti.
L'albergo di lusso inaugurato il 27 maggio 2000, viene denominato Castello di Villa, in quanto, da generazioni, la gente del luogo tradizionalmente chiamava l'edificio "castel del mago".

Erildo Ferro