Il castello di Pietra sorge su una delle colline affacciati lungo il corso del fiume Bruna, in una posizione strategica per il controllo del territorio. Tra i resti del castello si individuano ancora oggi grandi pietre calcaree squadrate, una torre esposta ad est, quasi affacciata su un dirupo,  e le mura perimetrali ad ovest e a sud.
E' il castello di Nello d'Inghiramo dei Pannocchieschi, podestà di Volterra nel 1277, di Lucca nel 1313 e capitano del popolo di Modena nel 1310, che fece uccidere la moglie Pia Dei Tolomei per sposare Margherita Aldobrandeschi. Il ricordo della tragica morte della Pia Dei Tolomei è celebrato ogni anno ad agosto a Gavorrano con una rievocazione in costume denominata "Salto della Contessa".
Ai piedi delle Serre, nella parte settentrionale di Poggio al Quercione, si trovano i ruderi del Castello di Pietra da cui si domina tutta l’alta valle del fiume Bruna e le sue dolci campagne.