Ensimmäiset kirjalliset tiedot Sillamäestä ovat peräisin vuodelta 1502 ja sisältävät maininnan paikalla sijainneesta Thor Bruggen -nimisestä kievarista.

Kaarle XII joukot joukot pysähtyivät lähistöllä ennen Narvan taistelua Suuren Pohjan sodan aikana 1700-luvulla. I maailmansodan aikana Sillamäen liepeille sijoitettiin Venäjän imperiumin tuolloin Petrogradiksi kutsutun pääkaupungin puolustuslinja tykkeineen. Vuonna 1919 Viron vapaussodan aikana pääosin suomalaisista vapaaehtoisista koostuneet joukot suorittivat maihinnousun Utriaan. Vuonna 1944 läheiset Sinimäet olivat yksi II maailmansodan pahimmista taistelupaikoista. Toisaalta Sillamäe (Sillamäggi-Türsamäe) tunnettiin 1800- ja 1900-luvuilla erityisesti Moskovan ja Pietarin sivistyneistön arvostamana kylpyläkaupunkina.

 

1920-luvulla Sillamäelle alettiin perustaa teollisuutta. Sinne rakennettiin ruotsalais-virolaisin voimin öljyliuskeen eli palavankiven jalostuslaitos sekä pieni satama. II maailmansodan jälkeen taajamaan rakennettiin uraanimalmin rikastamo, joka käytti aluksi paikallista öljyliusketta ja myöhemmin muista sosialistisista maista tuotua raaka-ainetta. Tehtaan tuotanto palveli kaikki nuo vuodet Neuvostoliiton ydinasehanketta. Entinen palavankiven rikastamo on nykyään NPM Silmet, alansa johtavia yrityksiä maailmassa, ja se tuottaa harvinaisia maametalleja kuten tantaalia ja niobiumia.

 

Vuonna 1957 Sillamäe sai kaupungin aseman. Uraanimalmin rikastamolla oli vuoteen 1990 asti suuri vaikutus kaupunkikuvan kehitykseen. Tuolloin luotiin koko kaupungin infrastruktuurin perusta.Arkkitehtonisesti sodanjälkeistä aikaa leimaa kolme ajanjaksoa, Stalinin, Hruštšovin ja Brezhnevin kaudet. Kiinnostavinta on stalinistinen uusklassismi, jota edustavista rakennuksista kaksi, kulttuurikeskus ja elokuvateatteri, on luokiteltu suojelukohteiksi.