Haruto Kirishima menjalani kehidupan yang tenang di pedesaan, jauh dari kehidupan kota yang serba cepat. Kemudian Yuzuki Eba muncul dalam kehidupannya entah dari mana, datang dari Tokyo untuk tinggal sebentar bersama keluarganya. Waktu mereka bersama membuatnya terpikat dengan kenangan masa-masa singkat itu sebelum Yuzuki tiba-tiba menghilang dari kehidupannya, dan meninggalkannya dengan penuh pertanyaan. Kimi no Iru Machi dimulai beberapa waktu kemudian, setelah Haruto pindah ke Tokyo untuk tinggal bersama saudara perempuannya, untuk mengejar karir sebagai koki. Pada kenyataannya, ia ingin bersama Yuzuki. Segalanya tidak dimulai dengan baik. Ketika dia tiba, dia disangka sebagai pencuri dan diserang oleh tetangga saudara perempuannya, Mishima Asuka. Setelah kesalahpahaman itu hilang, perasaannya mulai goyah. Apakah Eba, yang terus menghindarinya tanpa alasan, adalah orang yang tepat untuknya ataukah Asuka?