В 1874 году был куплен участок в районе Королевских Ворот, где устроено место захоронения Синагогальной общины Кёнигсберга. За этим местом захоронений укрепилось название «У Королевских Ворот». Официальная передача участка от прежнего владельца общине состоялась в местном окружном суде 27 марта 1875 года.
3 июля 1875 года строительство кладбища было поручено архитектору Паарманну, а его исполнение — плотнику Левенсону. Торжественное открытие кладбища состоялось 14 ноября 1875 года.
Не прошло и 15 лет, как половина приобретенной площади нового кладбища была уже занята, поэтому в дополнение к первоначально приобретенным 8 моргам земли Правление общины приобрело еще 8 моргов у Общества скачек и конных выставок в Пруссии. Финансирование покупки было произведено за счет кредита, предоставленного Исраэлитским Обществом по уходу за больными и погребениям, а также за счет средств завещанных коммерции советником Морицем Симоном. На кладбище имелись следующие постройки: небольшое здание у входа, в котором находится офис кладбищенского инспектора, молитвенный зал с прилегающей комнатой для Раввина, комната охраны и омовения («тахара»). Правление общины добивалось возможности построить большой ритуальный зал, чему городские власти противились, ссылаясь на технические проблемы. Ежегодно община проводила торжественную церемонию, посвящённую годовщине освящения кладбища.
На кладбище «У Королевских Ворот» похоронены члены еврейской общины Кёнигсберга, а так же евреи, по разным причинам скончавшиеся в Кёнигсберге, прежде всего те, кто приезжал на лечение в город, славившийся своей медициной. Среди иногородних евреев, нашедших последний приют в Кёнигсберге, было немало подданных Российской Империи, в частности в списке похороненных здесь Раввинов числятся около десятка из городов России, Белорусии, Литвы, Польши. На этом кладбище покоятся Кёнигсбергские евреи, чья роль в истории связана не только с общиной. Йохан Якоби (1805-1877), врач и политик, считается основоположником немецкой Социал-демократии. Банкир Георг Маркс (1843-1927) был одним из крупнейших финансистов Германии, его супруга Гертруд (1851-1916)— талантливой еврейской поэтессой, их дочь Эстер — женой крупнейшего израильского писателя, лауреата Нобелевской премии Шмуэля Агнона; родственники и потомки Марксов живут по всему миру, многие из них добились значительных успехов в публичной сфере. Эдуард Бирнбаум (1855-1920), в течение сорока лет занимавший пост главного Кантора Синагогальной общины, был видным музыковедом, дирижёром, органистом и композитором, он собрал хранящуюся ныне в Цинциннати-колледже (США) всемирно известную коллекцию еврейских нотных инкунабул и манускриптов (первопечатных книг и рукописей), его музыка поныне звучит в синагогах и церквях всего мира.
2 февраля 1883 года в Кёнигсберге скончался и был похоронен на еврейском кладбище «У Королевских Ворот» Раввин Исраэль Вольфович Липкин (р.1810), известный как Салантер — выдающийся представитель ортодоксального иудаизма, талмудист, создатель этического движения «Мусар». Ученики Салантера, последователи его учения занимаются в ешивах (еврейских религиозных академиях) всего мира. В 1999 году усилиями потомков и последователей р.Салантера, Калининградской Еврейской Общины было установлено место его захоронения. Решением городских властей территория старого кладбища была передана под благоустройство Калининградскому региональному общественному фонду «Шофар», была сделана ограда кладбища, по проекту калининградского архитектора Ю. Забуги было воздвигнуто надгробие Раввина и сооружена мемориальная стена с доской в память о всех похороненных на этом кладбище и о Кёнигсбергских евреях — жертвах Холокоста, чьё место захоронения не известно. Открытие нового надгробья Салантера состоялось при стечении сотен представителей еврейских религиозных кругов со всего мира. К сожалению, вскоре надгробие было разбито вандалами их хулиганских побуждений.
На кладбище «У Королевских Ворот» имелся также воинский мемориал, где были похоронены 36 воинов Первой Мировой войны иудейского вероисповедания. В их числе 8 солдат Русской Императорской армии умерших в Германском плену. В 2014 году память о павших и к столетию начала Великой войны не кладбище была установлена памятная доска. В 2018 году она была дополнена таблицами с именами похороненных здесь фронтовиков на русском и немецком языках. В церемониях, посвящённых памяти солдат Первой Мировой войны, принимали участие представители командования Балтийского Флота, Российского Военно-Исторического общества, консульского корпуса, аккредитованные в Калининграде, этот мероприятия получили широкое освещение в местных и федеральных СМИ.
В настоящее время ведется активная работа по благоустройству территории кладбища. Восстанавливается памятная стена, посвященная истории кладбища. Восстановлена памятная доска и надгробная плита Исраэля Салантера с эпитафией, сооружается оголь — традиционный еврейский мавзолей над могилой.
