Το κάστρο του Μίλα βρίσκεται στις βόρειες παρυφές του μικρού συνοικισμού Κάστρο, βόρεια του χωριού Μίλα, σε σημείο στρατηγικής σημασίας για τον έλεγχο της κοιλάδας της Άνω Μεσσηνίας. Εντάσσεται σε μια σειρά μικρότερων κάστρων που ιδρύονται σε σημαντικές θέσεις για τον έλεγχο των μεσαιωνικών οδών και την επιβεβαίωση της τοπικής εξουσίας των φράγκων φεουδαρχών. Ταυτίζεται με το Chateaunef που ίδρυσε η Ισαβέλλα Βιλλεαρδουίνου (1297-1301), προκειμένου να αναχαιτίσει την εντεινόμενη επιθετική δραστηριότητα των Ελλήνων του Δεσποτάτου του Μορέως. Το κάστρο έχει κάτοψη σχήματος τραπεζίου και διαθέτει δύο οχυρωματικούς περιβόλους.

Ο εσωτερικός περίβολος ενισχύεται περιμετρικά με τρεις ογκώδεις τετράπλευρους πύργους, παρουσιάζοντας στενές αναλογίες με κάστρα-κατοικίες της Δυτικής Ευρώπης. Κατά μήκος των μακρών πλευρών του κάστρου ήταν διατεταγμένες εκατέρωθεν μιας επιμήκους αυλής δύο διώροφες πτέρυγες. Στον όροφο της νότιας πτέρυγας διαμορφώνονταν δύο μεγάλες ορθογώνιες αίθουσες που φωτίζονταν από μεγάλα παράθυρα. Στην πολύ κατεστραμμένη σήμερα βόρεια πτέρυγα ανοιγόταν η πύλη του κάστρου. Στον νοτιοανατολικό χώρο του ορόφου της στεγαζόταν το παρεκκλήσιο του κάστρου. Βορείως του εσωτερικού περιβόλου, σε χαμηλότερο ύψος, αναπτύσσεται ο εξωτερικός περίβολος, αμελέστερης κατασκευής, ενισχυμένος με ημικυκλικό πύργο στο μέσον της βορειοανατολικής πλευράς του. Η προσπέλασή του γινόταν μέσω πύλης που ανοιγόταν στο μέσον περίπου της νοτιοανατολικής πλευράς.