En el Londres eduardiano de 1910, la última niñera de los Banks, Katie, deja su cargo, ya que Jane y Michael (los hijos de George y Winifred Banks) se han escapado por cuarta vez en una semana.
George (el padre de Jane y Michael) llega a casa después del trabajo y Winifred (la madre) revela que los niños están desaparecidos. La policía llega con los niños, que piden a su padre ayuda para reparar su cometa dañada, pero él los rechaza y anuncia una niñera de reemplazo de un modo muy autoritario. Jane y Michael redactan una carta en la que piden una persona bondadosa y compasiva, pero George rompe el papel y lo tira a la chimenea. Inadvertidos, los restos de la nota flotan por la chimenea.
Al día siguiente, tras la llegada de Mary Poppins, George se sorprende al ver que la niñera tiene en sus manos la fragmentos recompuestos del anuncio roto. Esta nueva niñera desafiante se describe a sí misma como una nana firme que definirá las reglas de juego con los niños. Mientras él se desconcierta, Mary se emplea a sí misma y comienza el trabajo, argumentando que permanecerá por un período de prueba de una semana, antes de decidir si va a aceptar el puesto de forma permanente. Cuando se une a los niños, ellos se enfrentan a las sorpresas que Mary Poppins posee en una maleta con un sinfín de accesorios y la magia que habita en ella.
El trío sale de la casa deslizándose por las escaleras llegan con Bert al parque en su trabajo como copista , donde Mary Poppins utiliza uno de sus dibujos de tiza en el pavimento como una puerta de entrada a un campo animado. En el dibujo, los niños siguen un camino para llegar a una feria mientras que Mary y Bert disfrutan de un paseo por el campo, durante el cual Bert baila en un restaurante al aire libre con cuatro camareros de pingüinos. Mary Poppins y Bert se unen a los niños en la ronda. El cuarteto se encuentra a sí mismo en una carrera de caballos, que gana Mary. Es aquí donde Mary Poppins emplea por primera vez la palabra sin sentido " Supercalifragilisticoespialidoso". La salida se ve interrumpida por una tormenta , que lava el dibujo de tiza y devuelve los viajeros de vuelta al parque .
Esa noche, los niños preguntan Mary Poppins cuánto tiempo se quedará con ellos, y ella está de acuerdo en quedarse hasta que cambie el viento. Luego despide con severidad su noción de que ganó la carrera de caballos en el campo, y como los niños están muy inquietos a raíz de todo lo que han visto ese día y no quieren dormir, los arrulla con una canción de cuna para que se duerman, cuya letra versa precisamente sobre lo que a ellos les interesa hacer en ese momento, que es permanecer despiertos a pesar de que ya es la hora de dormir. Al día siguiente, visitan al tío Albert de Mary Poppins, después de que ella se entera de que ha flotado en el aire una vez más debido a su imparable risa. Ellos se unen a él en una fiesta de té en su casa en el aire, diciendo varias bromas el uno al otro, aunque a Mary Poppins le resulta ridículo. Todos ellos bajan solamente cuando uno tiene que pensar en algo triste, cuando Mary Poppins firmemente dice que es hora de que todos se vayan a casa, lo que pone al tío Albert muy triste, a pesar de que Jane y Michael prometen que lo verán de nuevo. Bert intenta contar una broma para animarlo, pero fracasa miserablemente y cae en llanto también.
George parece cada vez más molesto con historias de las aventuras de sus hijos, pero Mary Poppins invierte sin esfuerzo su intento de instruirla severamente sobre que debería estar inculcándole disciplina y orden a sus hijos en un plan para llevar a sus hijos con él a su banco. En el camino, a medida que pasan la Catedral de San Pablo, se percatan de la presencia de la mujer de las palomas, le piden a su padre escuche lo que dice la mujer, quien pide le compren alimento para las aves. Los niños tratan de contarle lo que la niñera les dice pero George solo expresa su falta de interés en lo que dice Mary Poppins .
Al llegar al banco, el Sr. Dawes Jr. y Sr. Dawes Sr. (los empleadores de George) intentan convencer a Michael agresivamente para que invierta su dos peniques en el banco, hasta el punto que se lo arrebatan de las manos sin esperar su permiso. Cuando Michael protesta, los otros clientes no entienden sus gritos y se arma un gran alboroto en el banco que obliga a suspender los negocios, ya que de pronto todas las personas que habían invertido su dinero allí empiezan a exigir que les devuelvan su dinero. El guardia del banco (Jimmy Logan) persigue a los niños, acaban huyendo por los barrios pobres de Londres. Afortunadamente, se encuentran con Bert, ahora encargado de limpiar chimeneas. Él los lleva con seguridad a casa, explicando que su padre no los odia, pero que tiene sus propios problemas, y que a diferencia de los niños, no tiene nadie a quien recurrir, sino a sí mismo.
En casa, Winifred emplea a Bert para limpiar la chimenea de la familia y de la mente los niños. Mary Poppins llega después de volver de su día libre y advierte de los peligros de esta actividad, pero es demasiado tarde, ya que los niños son a la vez absorbidos por la chimenea hasta el techo. Bert y Mary les siguen y llevan un recorrido por los tejados de Londres, que concluye con un baile alegre con colegas deshollinador de Bert. El almirante Boom, que los confunde con los hotentotes, empiezan a desencadenar una lluvia de fuegos artificiales que envía todo el encuentro de vuelta por una chimenea, que resulta ser la chimenea de los Banks. Después de que todos bailan alrededor de la casa, George llega a su casa, haciendo que los ayudantes de Bert salgan la calle, donde desaparecen de la vista.
George se pregunta con rabia el significado de dicho alboroto, a la que Mary Poppins contesta que ella nunca explica nada. George entonces recibe una llamada telefónica de trabajo que le ordenaba regresar de inmediato a la acción disciplinaria. Mientras George reúne fuerzas, Bert señala que aunque George intenta que sus hijos tengan que ganarse la vida, Jane y Michael siguen siendo niños, crecerán y él tiene que ser una parte de u infancia. Jane y Michael se disculpan, y Michael le da sus dos peniques con la esperanza de eso arreglará todo. George acepta gentilmente la oferta.
George camina solo por las calles nocturnas, fijándose en varios de los edificios que lo rodean, como la catedral y los pasos en los que la mujer pájaro estaba sentada antes. En el banco es humillado y saqueado por causar la primera corrida en el banco desde 1773 formalmente (el banco suministraba el dinero para el envío de té destruido en el Motín del té de Boston). Sin embargo, después de ordenarle dar una declaración , George dice “supercalifragilisticoespialidoso“ y da a Dawes los dos peniques, dice una de las bromas del tío Albert, y se va con alegría. Dawes reflexiona sobre la broma; finalmente, flota en el aire, riendo.
A la mañana siguiente, el viento cambia de dirección, por lo que Mary Poppins se prepara para partir. Mientras tanto, la policía no puede encontrar a George y temen que haya cometido suicidio. Sin embargo, George, ahora cariñoso y alegre, vuelve a aparecer con el cometa reparado para Jane y Michael. Winifred utiliza una de sus cintas sufragistas como la cola del cometa. En el parque, el Sr. Dawes Jr., ahora a cargo del banco, dice que su padre murió literalmente de risa por su broma. George ofrece sus condolencias, pero el Sr. Dawes Jr. explica que su padre murió feliz y él vuelve a emplear a George para cubrir el hueco como socio menor. Con su trabajo hecho, Mary Poppins se eleva en el aire. Bert la despide cariñosamente y le pide que vuelva pronto.
