Kirken består af romansk apsis, kor og skib fra begyndelsen af 1200-tallet og tårn fra 1400-tallet med to spir, et gotisk sakristi og to gotiske korsarmskapeller, også fra 1400-tallet. Hele kirken er opført i munkesten. Den har kalkmalerier fra flere perioder med det ældste i apsisbuen som er malet samtidig med kirkens opførelse. Fra begyndelsen af 1500-tallet vises legenden om Sankt Jørgen i kalkmalerier i nordkapellet, hvor man også finder den næsten 2 meter høje træfigur af samme Sankt Jørgen. På kirkegården findes Danmarks største tømrede klokkehus på 7 x 7 meter, opført 1650 med tre klokker. Den ene klokke er fra 1200-tallet, de to øvrige er såkaldte genforeningsklokker til erstatning for klokker, som blev afleveret til krigsbrug i 1917.

På kirkegården findes krigergrave fra Treårskrigen 1848-50, rækker af danske og tyske soldatergrave fra krigen i 1864 (bl.a. den på preussisk side bereømte pioner Klinke) samt en mindehøj anlagt i 1922 til minde om sognets 190 faldne under 1. verdenskrig 1914-18. Mindestenen på toppen af højen har inskriptionen "Sten satte Broagerland, sønner til minde, faldne i krigen 1914-18".

Broager Kirkes tvillingtårn hævdes at have haft betydning under preussernes bombardement af Dybbøl-stillingen i foråret 1864. Man posterede udkigspost på en gangbro mellem spirene, hvorfra soldaten kunne se granatnedslagene i forhold til Dybbøl Mølle, og derefter korrigere kanonernes sigte herefter.