Tidligere var Ørby en stor tæt bebygget landsby med mange større gårde.
En brand hærgede i ca. 1870 store dele af byen. Greven købte herefter byens jorde, og lod opføre en del huse til sine landarbejdere.
Midt i byen ses den smukke, gamle og velbevarede firlængede gård “Ørbygård”.