Convenio de convivencia

Buenas noches Estoy divorciada pero no hay convenio de convivencia ni pensión ni nada. El solo paga la escuela de mi hija y si enferma paga gastos médicos, como el no tiene trabajo formal no tiene caso que demande pensión alimenticia. Mi hija ve a su papá los fines de semana pero nunca se ha quedado a dormir con el. Mi pregunta es si es posible seguir asi por acuerdo de palabra que siga viéndolo sin que legalmente me afecte como su mamá porque ahora me exige sua 'derechos como papá' para llevarsela un fin de semana. Por cierto el no quiere meter ningún papel legal. Dice que no es necesario si nosotros estamos de acuerdo. Eso es verdad?