Copyright 2026 Google LLC.

# @title Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
# https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

Usarás las capacidades de visión del modelo Gemini y el modelo de embeddings para añadir etiquetas y subtítulos a imágenes de prendas de vestir.

Estas descripciones se pueden usar junto con los embeddings para permitirte buscar prendas de vestir específicas usando lenguaje natural u otras imágenes.

Configuración

%pip install -U -q "google-genai>=2.9.0"

from google import genai
from google.genai import types

Configura tu clave de API

Para ejecutar la siguiente celda, tu clave de API debe estar almacenada en un Secreto de Colab llamado GEMINI_API_KEY. Si aún no tienes una clave de API, o no estás seguro de cómo crear un Secreto de Colab, consulta Autenticación para ver un ejemplo.

from google.colab import userdata
api_key = userdata.get('GEMINI_API_KEY')

client = genai.Client(api_key=api_key)

Descargando el conjunto de datos

Primero, necesitas descargar un conjunto de datos con imágenes. Contiene imágenes de varias prendas de vestir que puedes usar para probar el modelo.

!wget https://storage.googleapis.com/generativeai-downloads/data/clothes-dataset.zip

--2025-04-08 18:09:36--  https://storage.googleapis.com/generativeai-downloads/data/clothes-dataset.zip
Resolving storage.googleapis.com (storage.googleapis.com)... 172.217.218.207, 142.251.31.207, 142.251.18.207, ...
Connecting to storage.googleapis.com (storage.googleapis.com)|172.217.218.207|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: 730831 (714K) [application/zip]
Saving to: ‘clothes-dataset.zip.3’

clothes-dataset.zip 100%[===================>] 713.70K  1.42MB/s    in 0.5s    

2025-04-08 18:09:37 (1.42 MB/s) - ‘clothes-dataset.zip.3’ saved [730831/730831]

Descomprime los datos en clothes-dataset.zip y colócalos en una carpeta en tu entorno de Colab.

!unzip -o clothes-dataset.zip

Archive:  clothes-dataset.zip
  inflating: clothes-dataset/6.jpg   
  inflating: clothes-dataset/4.jpg   
  inflating: clothes-dataset/1.jpg   
  inflating: clothes-dataset/2.jpg   
  inflating: clothes-dataset/7.jpg   
  inflating: clothes-dataset/9.jpg   
  inflating: clothes-dataset/8.jpg   
  inflating: clothes-dataset/10.jpg  
  inflating: clothes-dataset/5.jpg   
  inflating: clothes-dataset/3.jpg

from glob import glob
images = glob("/content/clothes-dataset/*")
images.sort(reverse=True)

Generando palabras clave

Puedes usar el LLM para extraer palabras clave relevantes de las imágenes.

Aquí tienes una función de ayuda para llamar a la API de Gemini con imágenes. El "sleep" es para asegurar que no se exceda la cuota. Consulta nuestra página de precios para conocer las cuotas actuales.

from PIL import Image as PILImage
import time

MODEL_ID = 'gemini-3.7-flash' # @param ['gemini-3.1-pro-preview', 'gemini-3.7-flash', 'gemini-3.5-flash-lite', 'gemini-2.5-pro'] {"allow-input":true, isTemplate: true}
# a helper function for calling

def generate_text_using_image(prompt, image_path, sleep_time=4):
  start = time.perf_counter()
  response = client.models.generate_content(
    model=MODEL_ID,
    contents=[PILImage.open(image_path)],
    config=types.GenerateContentConfig(
        system_instruction=prompt
    ),
)
  end = time.perf_counter()
  duration = end - start
  time.sleep(sleep_time - duration if duration < sleep_time else 0)
  return response.text

Primero, define la lista de posibles palabras clave.

import numpy as np
keywords = np.concatenate((
    ["flannel", "shorts", "pants", "dress", "T-shirt", "shirt", "suit"],
    ["women", "men", "boys", "girls"],
    ["casual", "sport", "elegant"],
    ["fall", "winter", "spring", "summer"],
    ["red", "violet", "blue", "green", "yellow", "orange", "black", "white"],
    ["polyester", "cotton", "denim", "silk", "leather", "wool", "fur"]
)
)

Ahora, define un prompt que te ayudará a definir palabras clave que describan la ropa. En el siguiente prompt, se utiliza el "few-shot prompting" para preparar al LLM con ejemplos de cómo se deben generar estas palabras clave y cuáles son válidas.

keyword_prompt = f"""
     You are an expert in clothing that specializes in tagging images of clothes,
     shoes, and accessories.
     Your job is to extract all relevant keywords from
     a photo that will help describe an item.
     You are going to see an image,
     extract only the keywords for the clothing, and try to provide as many
     keywords as possible.

     Allowed keywords: {list(keywords)}

     Extract tags only when it is obvious that it describes the main item in
     the image. Return the keywords as a list of strings:

     example1: ["blue", "shoes", "denim"]
     example2: ["sport", "skirt", "cotton", "blue", "red"]
"""

def generate_keywords(image_path):
  return generate_text_using_image(keyword_prompt, image_path)

Genera palabras clave para cada una de las imágenes.

from IPython.display import Image, display
for image_path in images[:4]:
  response_text = generate_keywords(image_path)
  display(Image(image_path))
  print(response_text)

<IPython.core.display.Image object>

["shorts", "denim", "blue"]

<IPython.core.display.Image object>

["suit", "men", "blue", "elegant"]

<IPython.core.display.Image object>

["suit", "blue", "black", "men", "elegant"]

<IPython.core.display.Image object>

Here are the extracted keywords:
["T-shirt", "cotton", "casual", "women", "spring", "summer", "red"]

Corrección y deduplicación de palabras clave

Desafortunadamente, a pesar de proporcionar una lista de posibles palabras clave, el modelo, al menos en teoría, puede devolver una palabra clave no válida. Puede ser un duplicado, por ejemplo, "denim" para "jeans", o ser completamente ajena a cualquier palabra clave de la lista.

Para abordar estos problemas, puedes usar embeddings para mapear las palabras clave a las predefinidas y eliminar las no relacionadas.

import pandas as pd

EMBEDDINGS_MODEL_ID = "embedding-001" # @param ["gemini-embedding-exp-03-07", "gemini-embedding-2-preview", "embedding-001"] {"allow-input":true, isTemplate: true}

def embed(text):
    embedding = client.models.embed_content(
        model=EMBEDDINGS_MODEL_ID,
        contents=text,
        config=types.EmbedContentConfig(
            task_type="semantic_similarity"
        )
    )
    return np.array(embedding.embeddings[0].values)

keywords_df = pd.DataFrame({'Keywords': keywords})
keywords_df["Embeddings"] = keywords_df['Keywords'].apply(embed)

keywords_df.head()

Keywords                                         Embeddings
0  flannel  [-0.010662257, -0.036850516, 0.041096948, -0.0...
1   shorts  [0.033239827, 0.00013335898, 0.031834923, -0.0...
2    pants  [0.012273628, -0.024099143, 0.0032160978, -0.0...
3    dress  [0.010586792, -0.023003917, -0.028866835, -0.0...
4  T-shirt  [-0.015854606, -0.055863477, 0.025282638, -0.0...