Cómo Descargar e Instalar Llama 2 en tu Máquina Local

Se ha hablado mucho sobre Llama 2 últimamente, y con razón. Es uno de esos modelos de código abierto que te da más control sobre cómo se ejecutan las cosas. Ya seas un desarrollador, un aficionado o alguien que simplemente disfruta probar la tecnología de primera mano, tener Llama 2 en tu máquina local puede ser una gran experiencia. Significa que puedes trabajar sin conexión, ajustar cosas sin esperar a los servicios en la nube y obtener resultados más rápidos al probar tus ideas. Entonces, ¿cómo puedes empezar?

Sin más preámbulos, vamos a desglosarlo sin rodeos: solo los pasos, un poco de contexto y algunos consejos para facilitar las cosas.

Lo Que Necesitas Antes de Comenzar

Antes de siquiera comenzar la descarga, algunas cosas deben estar listas de tu parte. Piensa en esto como preparar tu cocina antes de hornear. Ahorrarás tiempo y evitarás sorpresas de último momento.

Revisa Tu Sistema

Llama 2 no es ligero. Si buscas un rendimiento fluido, una máquina con al menos 16GB de RAM y una GPU moderna es tu mejor opción. Llama 2 viene en varios tamaños: 7B, 13B y 70B. Para instalaciones locales, la mayoría opta por el modelo 7B o 13B. Son más manejables y aún así muy capaces.

Instala Python y Git

La mayoría de las herramientas que usarás para descargar y ejecutar Llama 2 necesitan Python y Git. Python 3.10 o superior es ideal. Git es necesario para clonar repositorios rápidamente sin descargar ZIPs y extraer cosas manualmente.

sudo apt install python3 git

En macOS, Homebrew funciona:

brew install python git

Configura Entornos Virtuales

No es obligatorio, pero usar un entorno virtual mantiene tus paquetes de Python organizados. Evita conflictos con otros proyectos. Si no estás familiarizado con los entornos virtuales, aquí tienes un comando rápido:

python3 -m venv llama_env && source llama_env/bin/activate

Una vez que hayas completado todo esto, estarás listo para la parte de la descarga.

Descargando los Archivos del Modelo Llama 2

Meta no te permite simplemente descargar Llama 2 con un solo clic. Necesitas completar un formulario y aceptar los términos, y luego obtendrás acceso.

Solicita Acceso a Meta

Ve a la página oficial de solicitud de Llama 2 de Meta. Completa el formulario, acepta sus términos de uso y espera el correo de aprobación. Esto generalmente no toma mucho tiempo. Una vez que estés aprobado, te enviarán enlaces a los archivos de pesos del modelo y del tokenizador.

Elige el Modelo Correcto

Recibirás enlaces a las versiones 7B, 13B y 70B. Elige según la capacidad de tu máquina. Si no estás seguro, comienza con el 7B. Es el más pequeño, más fácil de configurar y aún ofrece resultados impresionantes.

Descarga desde Hugging Face

Una vez aprobado, puedes obtener los archivos del modelo desde Hugging Face. Para esto, necesitarás configurar una cuenta de Hugging Face y usar la biblioteca transformers o git-lfs.

pip install huggingface_hub

Luego:

huggingface-cli login

Pega tu token de Hugging Face y estarás listo para descargar. Usa el nombre del modelo proporcionado en el mensaje de aprobación para obtener los archivos.

Ejecutando Llama 2 en Tu Máquina

Después de descargar, el siguiente paso es ejecutar el modelo. Aquí es donde sucede la magia: convertir esos archivos en algo que pueda entender y responder a tu entrada.

Instala las Bibliotecas Necesarias

La mayoría de las personas usan la biblioteca Transformers de Hugging Face o Llama.cpp para modelos más pequeños. Si estás utilizando transformers:

pip install transformers accelerate torch

Y luego carga el modelo así:

from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("meta-llama/Llama-2-7b-hf")
model = AutoModelForCausalLM.from_pretrained("meta-llama/Llama-2-7b-hf")

¿Prefieres Algo Más Ligero?

Si trabajas con recursos limitados, llama.cpp es una mejor opción. Es una implementación en C++ optimizada para uso en CPU y baja memoria. Así es como puedes configurarlo:

Clona el Repositorio:

git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp

Construye el Proyecto:

make

Convierte tu Modelo:

Llama.cpp necesita el modelo en un formato específico. Hay un script de conversión en el repositorio que puede ayudarte con eso.

Consejos para una Configuración Más Fluida

Conseguir que todo funcione puede ser sencillo, pero aquí hay algunas pequeñas cosas que pueden hacer que el proceso sea más fluido.

Atento al Tamaño del Archivo

Estos archivos de modelo son enormes. No intentes descargarlos con una conexión inestable. Una red estable y suficiente espacio en disco (50–200GB, dependiendo del modelo) son tus aliados aquí.

Usa una GPU Si Tienes Una

Incluso el modelo 7B puede volverse lento en la CPU. Si tienes una GPU NVIDIA, instala CUDA y asegúrate de que tu instalación de PyTorch sea compatible con GPU. Notarás la diferencia.

Comienza con Prompts Pequeños

Una vez que el modelo esté funcionando, no le lances prompts masivos de inmediato. Comienza con algo básico como:

prompt = "Explica cómo funciona la fotosíntesis."

y aumenta la complejidad lentamente. De esa manera, puedes detectar ralentizaciones o errores temprano.

Mantén Todo Legal

Esto es simple: no uses el modelo para generar nada que vaya en contra de la política de uso de Meta. Aceptaste esto cuando solicitaste acceso, así que cúmplelo.

¡Eso es Todo!

Configurar Llama 2 localmente no es difícil una vez que lo desglosas. Solo necesita un poco de preparación, algo de paciencia con las descargas y las herramientas adecuadas. Una vez que todo está funcionando, tienes un poderoso modelo de lenguaje en tu máquina, sin ataduras. Ya sea que estés construyendo algo divertido o simplemente probando ideas, tener ese tipo de herramienta a tu disposición se siente bastante sólido.

¿Quieres probar algo aún más fluido más tarde? Mantente atento a los forks de la comunidad y versiones más ligeras: están apareciendo rápidamente, y algunos de ellos funcionan sorprendentemente bien en laptops comunes. Espero que encuentres esta información valiosa. Mantente sintonizado para más guías completas.