Следующей большой остановкой на пути был город Торжок. На его окраине у высокого берега Тверцы стояла почтовая станция. Рядом с ней, на Ямской улице (ул. Дзержинского), находилась гостиница ямщика Пожарского - длинное каменное двухэтажное здание с характерными выступами на фасаде двадцать три раза служило Пушкину временным приютом. Об этом говорит текст установленной на фасаде мемориальной доски. В этой гостинице перебывала почти вся путешествующая Россия: от царей до арестованных декабристов.

В левой части дома, в комнате с окном-фонариком, останавливался поэт. В доме создана экспозиция, посвященная поэту. Из окна комнаты Пушкин, наверное, видел вывеску: Евгений Онегин - булочных и портновских дел мастер. В километре от этого места, на заросшем сиренью Пустынском кладбище найдена родовая могила Онегиных. Торжские литераторы полагают, что именно их Евгения Онегина вспомнил Пушкин в молдавских степях и дал его имя своему любимому и беспокойному герою.

Недалеко от гостиницы Пожарского сохранилась еще одна достопримечательность Торжка - деревянный одноэтажный особняк с двумя каменными флигелями по бокамдом Олениных. Пушкин был в очень дружеских отношениях с этим образованным петербургским семейством. Оленины подолгу жили в своем торжском доме на Ямской. Сюда к ним заезжал Пушкин послушать рассказы П. А. Оленина о войне 1812 года. В 1969 году на доме была установлена мемориальная доска.

В 1972 году организован первоклассный музей. Портреты, письма, стихи, рисунки, обстановка напоминают здесь о жизни города Торжка в 20-30-х годах XIX столетия, о замечательном лирическом цикле пушкинских стихов, посвященных А. А. Олениной, и об А. П. Керн, которой были посвящены стихи: Пушкин и Анна Керн...