Es una forma coloquial de decir: Despúes de medio día, pasado meridiano, despúes de 12PM, etc.
Medio dia abajo significa antes de las 12:00 ejemplo 8 9 10 etc. Por que estan antes de las 12:00 si fuese despues de las 12:00 seria medio dia arriba ok
Si consideramos la escala del dia desde las primeras horas hasta el anochecer, siendo el medio día como su nombre lo indica el punto medio, entonces la frase del "medio día para abajo" hace referencia a las horas de la tarde y noche.