Ο πυρήνας του αρχειακού υλικού, που απόκειται στα Γ.Α.Κ. - Αρχεία Nομού Κυκλάδων, είναι το αρχείο του Δήμου της Ερμούπολης με έγγραφα και κατάστιχα από τη δεκαετία 1820, που φυλάσσονταν στις αποθήκες στις αποθήκες και στους «πύργους» του δημαρχιακού μεγάρου.

Το 1948, έγινε μια πρώτη προσπάθεια οργάνωσης του δημοτικού αρχείου από το διάκονο Ευάγγελο Μονογυιό με την ίδρυση του «Ιστορικού Αρχείου Κυκλάδων» και το διορισμό του με τον τίτλο του «αρχειοφύλακα». Ο Διευθυντής των Γ.Α.Κ. , Εμμανουήλ Πρωτοψάλτης, ενδιαφέρθηκε προσωπικά για την ίδρυση και οργάνωση των αρχείων της Ερμούπολης , τα οποία επισκέφτηκε το 1951.
Το 1952 μετά από το θάνατο του Ε. Μονογυιού , συνεχίζεται η δημόσια συζήτηση από τον τύπο για την τύχη του Ιστορικού Αρχείου.
Το 1953 , οι ντόπιοι λόγιοι  Δημήτριος Κρίνος και Ανδρέας Δρακάκης, προτείνουν την ενοποίηση  της  Δημοτικής  Βιβλιοθήκης  Ερμουπόλεως με το Ιστορικό Αρχείο με τη σύμφωνη γνώμη του προαναφερθέντος  Διευθυντή των Γ.Α.Κ.

Το σχέδιο δεν εφαρμόστηκε, η Βιβλιοθήκη παρέμεινε δημοτική και το 1957 ο Δημήτριος Κρίνος αναλαμβάνει την επιχείρηση διάσωσης και μεταφοράς του Ιστορικού Αρχείου σε ασφαλέστερους χώρους.
Με τη Μεταπολίτευση, ο δήμαρχος Νίκος Φιλάρετος , ανέθεσε στον ικανότατο, δημοτικό υπάλληλο Στέλιο Αλεξάνδρου , τη φύλαξη του αρχειακού υλικού και τη διαχείριση των κονδυλίων που διέθετε το ΥΠΕΠΘ για την υπηρεσία. Ο Στέλιος Αλεξάνδρου παρέμεινε σ' αυτή τη θέση μέχρι το 1990.

Εν τω μεταξύ, το καλοκαίρι του 1975, ο ιστορικός Χρήστος Λούκος εντόπισε το αρχείο του Δήμου σε μια αίθουσα και σ΄ έναν από τους πύργους του δημαρχιακού μεγάρου, όπου, μάλλον, με τις φροντίδες του Δημητρίου Κρίνου είχαν στοιβαχτεί. Την ίδια χρονιά η Εταιρεία Μελέτης Νέου Ελληνισμού δέχτηκε να αναλάβει την ταξινόμησης του δημοτικού αρχείου. Στα τέλη του 1976 η Εταιρεία ζήτησε από το Μορφωτικό Ίδρυμα της Εθνικής Τράπεζας κι εγκρίθηκε η χρηματοδότηση του προγράμματος. Η «ομάδα Σύρας» , όπως ονομάστηκαν τα μέλη που αποτέλεσαν την ειδική επιτροπή ταξινόμησης , εργάστηκε το καλοκαίρι του 1977 και 1978.

Το 1982 αναγνωρίζεται ως Μόνιμο Τοπικό Ιστορικό Αρχείο Κυκλάδων. Τη φύλαξη του ταξινομημένου αρχείου εξακολουθεί να έχει ο Στέλιος Αλεξάνδρου. Στα τέλη της ίδιας δεκαετίας υπάγεται στο Υπουργείο Εθνικής Παιδείας και Θρησκευμάτων.

Το 1987 δημοσιεύτηκε ο έντυπος «Οδηγός του Δημοτικού Αρχείου Ερμούπολης 1821-1949» των Χρήστου Λούκου-Πόπης Πολέμη από την Εταιρεία Μελέτης Νέου Ελληνισμού.

Με το νόμο 1946/91 το Αρχείο, ως περιφερειακή, πλέον, υπηρεσία των Γενικών Αρχείων του Κράτους, αποκτά τον τίτλο «Γενικά Αρχεία του Κράτους-Αρχεία Νομού Κυκλάδων που διατηρεί ως σήμερα.