Hola!
Malargüe es una hermosa localidad y claro que vale la pena visitarla, además, desde allí se ofrecen varias excursiones como Caverna de las Brujas, Volcanes de Payunia, Laguna Llancanelo, pero por sus características de turismo aventura no son indicadas para hacerlas estando con un bebé. Te sugiero que dejes esta parte para hacerlo cuando puedas disfrutarla a full.
El caso de Mza capital y S Rafael es distinto porque hay paseos más tranquilos; en S. Rafael también hay turismo aventura, pero son actividades (cabalgatas, rappel, tirolesa, rafting), no excursiones de día completo y se me ocurre que podrían realizarlas en forma individual, turnándose. El circuito Cañón del Atuel podrías hacerlo evaluando que es todo camino de ripio.
No comentás si contarás con auto, algo que a mi parecer brinda comodidad cuando se viaja con pequeños pues permite adaptarse más al ritmo de ellos.