Nació en 1733 en el Pazo de Des, situado en la parroquia de Santa María de Soutolongo (Lalín). Fue bautizado el 24 de septiembre del mismo año, actuando como padrino don Francisco Gil Taboada y firmando el acta de bautismo fray don Diego López Taboada, prior de Soutolongo. Perteneciente a una de las familias hidalgas más distinguidas e influyentes de la Galicia del siglo XVIII, fue hijo de don Felipe Taboada Villamarín, señor de Cristimil y del Pazo de Des, y de doña María de Lemos y Rois.