Остаток жизни Анатолий Александрович провел в Баварии, в небольшом городке Оберстдорф в окружении родных — жены Ольги и дочери Марии. В 1925 г. она приехала к ним из Англии, где несколько лет проработала швеей, зарабатывая на скромную жизнь. 19 января 1940 г. полковник Мордвинов скончался на руках у близких и был похоронен на кладбище Вальдфредхоф (Waldfriedhof) в Оберстдорфе. Ольга Карловна, оставшись одна, жила в доме вместе с подругой Маргаритой Буш, также в свое время эмигрировавшей из Петербурга и находящейся в Германии по нансеновскому паспорту, и дочерью, которая работала воспитательницей в детском доме. В 1952 г. Ольга Карловна, стремясь обеспечить старость подруге, завещала одну треть дома ей и одну треть — дочери Марии. 17 декабря 1953 г., пережив мужа на 13 лет, она тихо скончалась в местной больнице и была похоронена рядом с А. А. Мордвиновым.