viernes, marzo 31, 2023

Git Large File Storage

 El día de hoy  por primera vez desde que uso git tuve un problema al querer subir archivos grandes a github. Contexto: tengo un modelo entrenado con extensión pkl el cual pesa algo así como 280 MB, cuando quise subirlo a mi repositorio me dio el siguiente error:


remote: error: Trace: a30bc8551829cfe15407cd6a30fdf32fa02d500188c7d36f07e868f79f85f1ba
remote: error: See https://gh.io/lfs for more information.
remote: error: File modelacionrename.pkl is 278.13 MB; this exceeds GitHub's file size limit of 100.00 MB
remote: error: GH001: Large files detected. You may want to try Git Large File Storage - https://git-lfs.github.com.
To github.com:bullkservices/api-predictions.git
! [remote rejected] develop -> develop (pre-receive hook declined)
error: failed to push some refs to 'github.com:bullkservices/api-predictions.git'

Siguiendo el mensaje de error conocí la existencia de git-lfs, básicamente es un proyecto que nos permite almacenar archivos grandes en nuestros repositorios.

Seguí los pasos de la documentación pero mi error seguía sucediendo, investigando un poco me di cuenta que hay que seguir los pasos en orden. 

En mi caso lo que hice fue lo siguiente:

a) Descargar nuevamente mi repositorio

b) Ejecute el comando: git lfs install

c) Habilite el seguimiento de archivos grandes con extensión pkl: git lfs track "*.pkl"

d) En el paso anterior se creo automáticamente el archivo .gitattributes por lo que hice el git add . y commit

e) Agregue el archivo del modelo prediccion.pkl al repo, luego hice push con los cambios

Luego de hacer los pasos en orden pude subir mi archivo grande al repositorio.