Село Кестен се намира в Западните Родопи, недалеч от Триград, Триградското ждрело и пещера Дяволското гърло. На 2.5 км южно от него е държавната граница с Гърция, а някогашните гранични заграждения са минавали само на няколкостотин метра от селото. Тъй като по време на тоталитарното управление в България в периода 1944-1989 година районът е бил част от силно охраняваната граница между двата враждуващи блока и достъпът до него е бил ограничен, тази част от страната се е запазила до голяма степен непокътната от човешко въздействие. Доказателство за това е намиращият се в покрайнините на село Кестен резерват Шабаница, в който се срещат вековни букови и смърчови дървета.
До село Кестен се стига от Триград, по асфалтеното шосе, което продължава в югоизточна посока нагоре по течението на река Триградска (от площада в центъра на Триград продължете направо, пътят се спуска леко надолу и излиза от населеното място). Разстоянието между двете села е около 9 км, като последният километър и нещо е по черен път (каменист и на места може би не съвсем подходящ за ниски коли).