Η ιστορία της κωμόπολης τοποθετείται ήδη από την εποχή του Πτολεμαίου. Δεν είναι επακριβώς βέβαιο αν ταυτίζεται με το Παντομάτριο, το οποίο ο Πτολεμαίος αναφέρει ως επίνειο της Ελευθέρνης. Δεν είναι, επίσης, εξακριβωμένο εάν ταυτίζεται με την κωμόπολη Panormus που αναφέρει ο Πλίνιος.. Η ύπαρξη, ωστόσο, σημαντικής παλαιοχριστιανικής βασιλικής του 5ου-6ου αιώνα, στη περιοχή Αγία Σοφία, την οποία έφερε στο φως η σκαπάνη του καθηγητή Κωνσταντίνου Καλοκύρη, δείχνει ότι το Πάνορμο ήταν σημαντική κωμόπολη της περιοχής.
Το 1206 καταλήφθηκε από τους Γενουάτες με επικεφαλής τον Ενρίκο Πεσκατόρε. Λόγω του φυσικού λιμένα της, ο Πεσκατόρε οχύρωσε την κωμόπολη με φρούριο (σώζονται ορισμένα υπολείμματά του). Παρόλ' αυτά, δεν κατάφερε να εμποδίσει την κατάληψή του από τους Ενετούς το 1212.. Λόγω του φρουρίου της (Καστέλλιον), η κωμόπολη πήρε το όνομα Καστέλλι. Οι Ενετοί διατήρησαν την πόλη ως έδρα καστελλάνου μέχρι το 1647, οπότε και εκδιώχθηκαν από τους Τούρκους, οι οποίοι την μισοκατέστρεψαν. Από τότε διασώθηκε μόνο, εντός του φρουρίου, η εκκλησία του Αγίου Γεωργίου..
Το Ιούλιο του 1905 το ρωσικό πολεμικό ναυτικό, αφού απομακρύνθηκαν τα γυναικόπαιδα, βομβάρδισε το χωριό προκαλώντας μεγάλες ζημιές. Αιτία ήταν η συγκέντρωση στο Πάνορμο επαναστατημένων Κρητικών που ζητούσαν την ένωση με την Ελλάδα και εμπόδισαν με πυροβολισμούς την αποβίβαση στρατευμάτων για αποκατάσταση της τάξης. Ονομαζόταν Καστέλλι και αργότερα Πάνορμο, από την εκκλησία που είχε την προσωνυμία Άγιος Γεώργιος ο Πάνορμος. Από τις αρχές του 20ού αιώνα η πόλη ξαναβρίσκει μέρος της αίγλης της, αποτελώντας διαμετακομιστικό διά θαλάσσης κέντρο των αγροτικών και κτηνοτροφικών προϊόντων της επαρχίας Μυλοποτάμου. Για το σκοπό αυτό είχαν κτισθεί εκεί μεγάλες αποθήκες. Η πόλη διέθετε, επίσης, δημοτικό σχολείο, ημιγυμνάσιο, το οποίο ιδρύθηκε το 1917 και λειτούργησε το 1918, ήταν έδρα Ειρηνοδικείου και υποσταθμού Χωροφυλακής. Έτσι έγινε πρωτεύουσα της Επαρχίας Μυλοποτάμου. Το 1900 υπαγοταν στο Δήμο Μελιδονίου με Δήμαρχο τον Μιχάλη Μανωλεσάκη. (Πληροφ. wikipedia,Λευτέρης Κρυοβρυσανάκης. Η φωτο απο το Λευκωμα του Hubert Pernot )
Μια ανοιξιάτικη φωτογραφία από το Πάνορμο στα τέλη της δεκαετίας του 60. Η εικόνα εστιάζεται περίπου στο χώρο που κατελάμβανε το παλιό Καστέλι Μυλοποτάμου, που έδωσε και το όνομα στο χωριό μέχρι τις πρώτες δεκαετίες του 20ου αιώνα. Ήταν ένα κάστρο παλαιού τύπου με κάμποσους πύργους και επάλξεις. Ελάχιστα υπολείμματά του υπάρχουν ακόμα πάνω από την παραλία και ενσωματωμένα στα σπίτια που κτίστηκαν στη θέση των τειχών, για πάνω από ένα αιώνα άλλωστε αποτελούσε το νταμάρι που προμήθευσε οικοδομικό υλικό για να κτιστούν τα σπίτια του χωριού. Η εικόνα σήμερα έχει αλλάξει, ο πυρήνας του χωριού όμως διατηρεί τη γραφικότητά του...(Μανώλης Μανούσακας)
Χάρτης του Franceco Basilicata
Πάνορμο γύρω στο 1995 έξω από το καφενείο Κυδωνία. Καρτ ποσταλ Σπύρου και Αλεξάνδρας Σπύρου από την συλλογή του
