V roce 1888, kdy se klub nazýval Royal Arsenal, vznikl první znak týmu (fotografie č. 1). Tři komíny symbolizovaly založení Arsenalu v továrně Woolwich Arsenal Armanent Factory. V sezóně 1922/1923 byl v zápase proti Burnley představen nový znak (fotografie č. 2). Ten už obsahoval kanon. Logo klubu se opět měnilo v sezoně 1925/26, kdy se kanon otočil (fotografie č. 3). Na posledním obrázku (fotografie č. 4) je další znak Arsenalu

Kanon se stal oficiálním symbolem týmu. Následně se začal upravovat do dnešní podoby. Znak (fotografie č. 5) byl představen v ročníku 1949/50. Šesté logo (fotografie č. 6) bylo vytvořeno o dva roky později. Předešlý znak s bílým pozadím nahradil znak s pozadím červeným. Používán byl od roku 1953 až do sezony 2001/02, kdy byl změněn do podoby sedmého znaku (fotografie č. 7).

V roce 2002 vzniklo logo, které se používá dodnes (fotografie č. 8).

Před sezonou 2011/12 byl vydán nový znak, který připomněl 125. výročí od založení klubu. „Kanonýři“ jej oblékali jeden rok. Znak zůstal stejný, novinkou bylo lemování patnácti vavřínovými listy, jež znázorňovaly počet můžu, kteří v roce 1886 věnovali každý šest pencí na založení Arsenalu. Listy také mají připomínat sílu klubu.

Na druhé straně se nachází patnáct dubových listů. Návrh na vytvoření celku zmiňovaných patnáct mužů totiž vyjednalo v pivnici Royal Oak (Královský dub). Pod znakem se nacházel nápis „Forward“ (v překladu kupředu), který připomínal směr, jakým se chce Arsenal ubírat.