La relación de los Negritos con San Francisco de Asís se explica por una tradición oral local según la cual, en la época de la Colonia, un capitán español tenía un esclavo afrodescendiente al cual le tenía un especial afecto.
En aquel entonces, una epidemia de tifus habría llegado al pueblo y el esclavo cayó enfermo y murió, por lo cual el español lloró inconsolablemente y encomendó el alma del esclavo a San Francisco de Asís, de quien el capitán era devoto. La madrugada siguiente, alguien tocó la puerta de la casa del capitán, este fue a abrir y encontró a su esclavo con vida.
Cuenta la historia que este hecho milagroso se dio un 4 de octubre, día de San Francisco de Asís, por lo cual fue interpretado como un milagro del santo. La noticia del suceso milagroso se extendió por todo el pueblo de Huamachuco y a partir de ese día la epidemia empezó a desaparecer y volvió la tranquilidad a la población. Desde entonces, el capitán español prometió asistir a la procesión con su esclavo resucitado cada 4 de octubre.
Cuando el esclavo negro falleció, la población, recordando su presencia, empezó a pintarse de color negro el rostro, las manos y los pies, para asistir a las procesiones de San Francisco de Asís. Esta costumbre fue arraigándose en la población y ante la gran cantidad de devotos se instauraría en Huamachuco la Hermandad de San Francisco de Asís.