Problemas con un préstamo a rédito

Hola a todos, espero puedan orientarme. Hace casi dos años una persona nos prestó 30 mil pesos, en agosto del año pasado mi esposo y yo tuvimos un problema importante y no pudimos pagar el interés mensual de 3 mil pesos durante 4 meses, esta persona nos esperó pero en diciembre, hizo firmar a mi esposo una nueva letra por todos los intereses acumulados más sus intereses respectivos, lo que aumentó nuestra deuda a 70 mil pesos. Desde entonces le estamos pagando 7 mil pesos mensuales sin que nuestra deuda baje un solo peso y quedándonos sólo con el dinero exacto para comer, muchos nos han aconsejado que no le paguemos, que se está aprovechando de nosotros y que lo que hace es ilegal, pero además de que no queremos dejar de pagar porque siempre hemos sido responsables con nuestros compromisos, tenemos miedo de que esta persona emprenda una acción legal porque tiene los pagarés. Este mes no pudimos pagarle por una situación de salud con nuestros hijos y está muy enojado, dice que va a cobrarnos con un abogado y no sé que tanto más, le aseguramos que este será el único mes que no paguemos y que en diciembre lo repondremos junto con lo más que podamos pagar del capital que nos prestó, pero no sabemos si realmente nos puede meter en un problema legal, nosotros le estamos pagando 10% desde hace 2 años, de 30 mil, por lo que ya le hemos dado casi 70 mil y desde diciembre 7 por lo que llevamos mas o menos otros 20 pagados, pero obviamente no nos da comprobantes de nada, solo él tiene los pagarés.

¿El puede perjudicarnos de alguna forma legal? ¿Es cierto lo que nos dicen que es ilegal lo que hace? ¿Qué debemos hacer? Muchas gracias por su ayuda.