Мені завжди було цікаво, чому саме так - міста Києва, в місті Ялті тощо, а не міста Київ, в місті Ялта, що, як на мене, логічніше. Чим регламентується таке вживання?

Це регламентовано вимогами підрядного зв’язку, який виявляється в трьох видах – узгодженні, керуванні і приляганні.
Сполуки на кшталт "місто Київ" є поєднаннями головного слова й прикладки. Прикладка, як відомо, – різновид узгодженого означення, яке має уподібнюватися в граматичних формах до слова, від якого залежить. Принаймні в тих категоріях, де це можливо (скажімо, в роді тут узгодження неможливе, бо місто - середній рід, Київ – чоловічий, але у відмінку узгодження має бути дотримано, ну й у числі теж ці слова узгоджені). У сполуках на такий кшталт прикладками є саме власні назви. Тобто вони й мають узгоджуватися.

Вживання називного відмінка у топонімах стосується географів, топографів, картографів та військових для точної передачі назви населеного пункту, яка може змінюватися і не розшифровуватися точно за провідмінюваним словом. Ця традиція прийшла з російськими окупантами, які плуталися в українських назвах населених пунктів.