Det talas om viborgska Zilliacer som ett gammalt begrepp. Men det var först på 1850-talet som de första släktmedlemmarna blev fast bosatta i staden. Zilliacerna har ändå gamla anor och släktrötter i Viborg.
Genom Margareta Katarina Ristelius, Berendt Zilliacus maka (d 1800), utökades släkten med en rad borgare och präster som varit verksamma i Viborg. Margareta Katarinas farfar Pehr (Petrus) Ristelius var kyrkoherde i Siikaniemi och slottsförsamlingen i Viborg och hans far Benedictus Ristelius var lektor i grekiska, logik och fysik vid Viborgs gymnasium till sin död 1655. Han var hemma i Sverige; i Uppsala universitets matrikel heter fadern Magnus. Enligt en svensk släktforskare var fadern bonden Måns från hemmanet Rist i Östra Eneby socken, Östergötland.
Kyrkoherden Pehr Ristelius morfar Petrus Jonas Bjugg, född i Söderköping, var biskop i Viborg 1642. Bjugg begrovs i domkyrkan den 29 januari 1656. Pehr Ristelius andra hustru Margareta Reuter var mor till Bengt Ristelius och Margareta Katarinas farmor. Margareta Reuters far Samuel Laurentii Reuter hade också varit kyrkoherde i Siikaniemi församling. Margareta Reuters morfar Johan Vogel var handlande och stadskapten i Viborg och gift med Elisabet Croëll, vars far Hans Croëll var både handelsman och borgmästare i Viborg. Hans Croëlls maka Anna Påvelsdotter Juusten var änka efter Henrik Stråhlman, handlande i Viborg, som 1579 inflyttade från Tyskland och som Strahlman antecknades som gästgivare. Hans sonsons sonsons son Johan Stråhlman var morfar till Ida och Sophie Söderhjelm, ingifta i släkten Zilliacus.
Anna Juustens far Paulus (Pavel, Påvel) Juusten var född i Juustila by i Viborg socken ca 1516. Han hade studerat i Wittenberg under Luthers och Melanchtons ledning. Juusten var rektor för katedralskolan i Åbo 1548−1554. År 1554 blev han utnämnd till förste biskop i Viborg. Till Finlands andra eller östra stift hörde en tid även Ingermanland. Nio år senare blev Juusten biskop i Åbo efter Mikael Agricola. Han samlade och skrev ned vad traditionen berättade om Finlands biskopar från biskop Henrik till Agricola Catalogus et Ordinaria succession episcorum Finlandensium. Juusten sändes med en legation till storfursten Ivan Vasiljevitsch. Storfursten höll honom fängslad i tre års tid och gav honom fri 1572. Juusten adlades 1572. Han dog i Åbo 1576. Fadern Peder Juusten var borgare i Wiborg och ägde Juustila gård samt ett stenhus invid den forna klosterkyrkan. Han hade också ”slottslofven” (de förpliktelser en innehavare av ett slottslän hade till länsherren kallades slottsloven) vid Viborgs slott 1525. Via Anna Påvelsdotter Juusten kom det juustenska blodet in i ett stort antal finländska släkter.
Stamfadern Conrad Zilliachs (död 1688) var gift med Anna Luhr, dotter till Andreas Luhr och Christina Fattenborg, som var dotter till kyrkoherden Henricus Martini Fatebur (Fattabuur). Dennes far var borgmästaren Martin Fatebur i Viborg. Henricus Fatebur hade studerat i Rostock och Wittenberg, var rektor för Viborgs skola åren 1616−1632 och blev sedan kyrkoherde i Nyen. Tillsammans med theologie lektor Matthias Jacobus Tolja gav han 1625 ut samlingen Cantiones piae et antiquae, som innehöll 90 visor. Boken var tryckt i Rostock. Släkten Fatabur antog namnet Heinricius.
Elisabeth Wolters (gift med Petter Zilliacus) mor var viborgskan Maria Tawast. Marias syster Elisabeth Tawast var gift med Johan Stråhlman. Marias och Elisabeths far var Niklas (Nils) Tawast, kamrerare, assessor och kollegieråd i Viborg. År 1758 gifte han sig med Anna Maria Posse i hennes tredje gifte. Hon var änka efter Benedict Sundblad och hade bakom sig ett andra upplöst äktenskap med Wilhelm Richter, som avvikit, kanske farit i väg som soldat.
Den första Zilliacus i Viborg var Petter Zilliacus´ och Elisabeth Wolters tredje son Nikolai, som egentligen redan hade vistats en längre tid i Viborg, då han gick i gymnasium där. Därefter kom Nikolais bror Wilhelm för att auskultera vid hovrätten, men han flyttade tillbaka till Helsingfors. Brödernas kusin Hugo Fredrik Benedikt, son till kapellanen Alexander Benedikt, blev 1875 lektor i naturkunnighet och elementär matematik vid det finska reallyceet och rektor för handelsskolan 1887. Han hade, i likhet med Nikolai, många kommunala förtroendeuppdrag. Nikolais och Wilhelms bror Peter dog i Viborg den 15 september 1879 och begravdes på Sorvali begravningsplats. Peters änka Augusta med barn bosatte sig i Viborg i januari 1880. Nikolais, Wilhelms och Peters bror Mauritz kom till Viborg 1881, men han hade redan tidigare varit verksam i Viborg.
Carin Dahl, född Wrede, skrev 1887 apropå Zilliacerna: Det är en ganska ofin familj, ehuru de äro trefliga sällskaps menniskor. Släkten (Kurt Zilliacus) har utgående från detta uttalande präglat sin devis ”inte så fina, men mycket trevliga”. Carin Dahl avsåg Nikolais familj, som hon lärde känna via hustrun till sin bror, Siri Söderhjelm, som var kusin till Nikolais barn.
I Viborg fanns det redan på 1500-talet en betydande tysk befolkning. Croëll hörde till de tyska släkterna från 1500-talet. Nya släkter kom, till exempel Vogel i mitten av 1600-talet. Fastän den svenska populationen var större var den tyska mycket viktigare, då de förnäma handelsmännen och stadens borgare var tyskar. Viborg hade en mycket speciell atmosfär och det var på 1600-talet nödvändigt att kunna tala tre språk. Senare kom också ryskan. Det sägs att i Viborg talades det fyra språk − ein echter Wiborger geht auf allen vieren. Tyskan förenade staden med Narvas och Petersburgs kulturområde. Det fanns tvenne skikt i samhället, en bildad klass som var svensk eller tysk och en icke bildad som var finsk. Men finskans ställning var starkare än dess användares status. Ämbetsspråken var svenska och tyska, bara på den högsta nivån ryska. Det fanns två trosbekännelser, staden underlöd två huvudstäder osv.
Herman Kellgren tyckte (12.3.1846) att Viborg redan var utlandet: ”Wiborg förråder sin ofinskhet redan i sitt utseende. Det liknar ingen annan stad, Rysk är den allsicke, ej heller Svensk; är det likt någon stad, så är det Lybeck. – – Hvad i synnerhet påminner om Lybeck och norra Tyskland äro de blommor, hvilka pryda hvartenda fönster; öfverallt ser man redan nu blommande hyacinter. – – Ett kännetecken på Wiborg är ännu champagnekorkarnas smällande; är man i sällskap, dricker man oftast Champagne 2 ggr om dagen, om middag och afton.”
Viborgsk ungdom vid Imatra