Tidligere var Ørby en stor tæt bebygget landsby med mange større gårde.

En brand hærgede i ca. 1870 store dele af byen. Greven købte herefter byens jorde, og lod opføre en del huse til sine landarbejdere.

Midt i byen ses den smukke, gamle og velbevarede firlængede gård “Ørbygård”.