Mi vecino no tiene Barda

Desde que me mude a esta casa hace 33 años mi vecino no tiene barda por lo cual usa la mia como si fuera su barda, esta barda de mi casa sirve como un patio de lavado y para ellos es su patio y usan una parte para una bodega que no tiene barda y es de lamina. Se que aparte tienen tendederos clavados en mi barda y deben tener algo que me haga humedad porque ahora tengo salitre de ese lado. No puedo saber que tienen porque nuestra relación no es buena y desde mi segundo piso no alcanzo a ver mas. Estos vecinos no tienen bardas con varios vecinos pero el mas afectado soy yo. Voy a construir en esa parte y debo tumbar esa barda pero al ellos no tener una quedaría expuesto a ellos el tiempo de la construcción y eso me detiene porque el albañil me dice que tardaría un mes en quitar parte de la barda, poner cimientos y luego construir y me veo obligado a comprar tablas para tapar el acceso de ambas casas. ¿Que puedo hacer? ¿Puedo demandarlos y obligarlos a pagar? ¿Puedo hacer hagan su barda? ¿que puedo hacer?