Neural Adjoint Maps