Il territorio prossimo a Pozzuolo era attraversato dall’importante percorso viario che univa i centri etruschi di Roselle e Chiusi. L’antica via risaliva la Valle dell’Ombrone per seguire, oltre la confluenza fluviale, tutta la Val d’Orcia Inferiore e oltre i rilievi di Bagno Vignone, traversata la Val d’Orcia Superiore, raggiungere la Chiana. Nel medioevo poi il collegamento fra la Maremma e la Val di Chiana si sposterà dirottando, dopo la confluenza dei due fiumi, per risalire verso nord il complesso collinare di Montalcino e, incrociata la Via Francigena, proseguire nella Valle dell'Asso per raggiungere poi la Chiana oltre le colline di Montisi e Trequanda. Pozzuolo fu sicuramente un insediamento castrense medievale favorito dalla sua posizione geografica singolare anche per il converger qui di ben quattro diocesi. A breve distanza il fiume Orcia e il fosso Trisolla segnavano il confine con la diocesi d’Arezzo e con quella di Grosseto.
Fino alla metà circa del Trecento Pozzuolo è dominio di signori locali, presumibilmente sempre gli Squarcialupi. È certo che nel 1361 il castello passa da Longaruccio Squarcialupi a Giacomo Tolomei insieme al castello di Porrona, al momento d’appropriazione di larghe aree territoriali da parte della nobiltà cittadina. Il castello rientra nell’elenco di quelle ‘fortezze, territorii et castellari de privati’ per i quali il Comune di Siena emette, il 9 maggio 1438, un’ordinanza di riforma.