Unito alla Torre è il Palazzo del Capitano del Popolo. Venne ultimato nel 1282 sotto il Capitano del Popolo Guidone de’ Rossi da Firenze, che affisse una lapide commemorativa sulla cortina. Pressoché distrutto nel sacco di Niccolò Piccinino (1442) fu restaurato nel XVI sec. quando divenne sede delle scuole pubbliche.
L’edificio, in pietra bianca del Subasio, è a tre piani, con quattro grandi portali ad arco pieno, dove un tempo erano delle botteghe e i magazzini del sale. Sulla facciata sono murati vari stemmi di Podestà e la targa del Terziere di S. Maria.
La merlatura guelfa, posta arbitrariamente nel 1926, sostituisce l’originale tetto a capanna. I locali a pian terreno sono decorati con tempere di Adalberto Migliorati, ispirate al lavoro di ricamo (punto Assisi) e all’arte dei vasai, vi sono anche stemmi della città (1924). Al primo piano è la sede e la biblioteca della Società Internazionale di Studi Francescani. Della antica decorazione dei saloni e della cappella si sono salvati alcuni importanti frammenti conservati nella Pinacoteca Comunale e in alcuni musei stranieri