Borgen är byggd på en liten och inte särskilt hög höjd, den höjer sig cirka 10 meter över intilliggande mark. Under järnåldern gick det in en vik från Mälaren cirka 700 meter öster om borgen och det var också cirka en kilometer västerut till Mälaren, det som nu är Stora Katthavet. Marken tillhör gården Svånö.
Fyra km nordost om borgen i norra änden av Rytterneslätten ligger Vallbyborg. Rytterne kyrka ligger 1,5 km österut från borgen.
Denna borg utmärker sig genom ett intrikat system av massiva murar. På kullens krön som är tämligen flackt ligger en inre lite oval ringmur där höjden är bevarad med kallmur upp till 2–3 meters höjd, det innersta borgrummet är 34×31 meter. Kallmur ses i innersta och mellersta förborgen, där muren är rasad har den en bredd på cirka 10 meter. Det finns en ingång i sydväst, Schnell bedömde den norra som sekundär (1934:69). Innermuren är förstärkt med yttermur som ansluter till innermuren och formar två förborgar liksom D-formade med ungefär samma murdimension som den inre borgen. I dessa finns ingångar i väster och öster. Därutanför finns en förborg åt väster och en ofullständig åt öster med klenare dimensioner. Därutöver ligger två stensträngar i öster respektive väster som består av enstaka större block i enkla rader. I söder på borggården såg Schnell (1934:6970) basen till en mur som han bedömde härrör från en tidigare mindre borg. Det finns en möjlig husgrundterrass vid fornborgens södra kant 8×5 meter som är skadad i sydväst.
Under mellersta järnåldern låg nuvarande Rytterne socken på en halvö med ett smalt näs mot fastlandet. Cirka 2,5 km nordöst på andra sidan ett skogsparti ligger ett Tuna.
Cirka 2 km nordväst från Sorby borg vid gården Lundby ligger ruinerna efter Stora Rytterne kyrka från 1100-tal (RAÄ Rytterne 51:2) jämte några runstenar. Inom några hundra meter från kyrkan ligger Torsta (skrevs år 1399 ”Thoristom”). Det finns också enligt ortnamnsregistret ett Viby som med viss reservation enligt Vikstrand kan vara ett äkta ”Vi” alltså ett kultställe (2011:340). Enligt generalstabskartan (Västerås) år 1903 fanns ett Viby vid vad som nu markeras som bytomten RAÄ Rytterne 193:1, 250 meter västsydväst om St. Rytterne kyrkoruin och nära Lunda.
Besök: Från väg 56 norr om Kvicksund tag av mot Rytterne kyrka. Efter en knapp kilometer är borgen på vänster sida. Parkeringsficka finns intill borgen och stig från denna. Busshållplats Skogsholmen 500 meter väster om borgen. Besökt i juli 2024. Mycket besöksvärd!
Fornborgar i Mälardalen 