¿Me pueden quitar a mi hija?

sucede que tengo una hija de 2 años hace días el padre de ella me dijo que. Si yo me metía a trabajar el se podía llevar a la niña a vivir con el si el queria y sin mi permiso porque el no quiere que nadie la cuide yo le dije que ante la ley la niña tiene que estar con la madre el en los primeros meses del el embarazo no me ayudó el tiene demanda por violencia la niña incluso le teme el sólo me da la leche , los pañales y las toallas de ella yo en estos dos años no habia conseguido trabajo hasta ahora El me dice que por eso me puede quitar a mi hija Realmente temo que me la quite realmente no encontraba trabajo hasta ahora y en estos 2 años cuide a mi hija porque habia nacido bajo peso y con unos problemas de salud no se si pudiera perder la custodia de mi hija por eso .el empezó a darle leche y pañales a partir que mi hija cumplió un año Sinceramente temo a el