Programación
Hugging Face publica qué modelos del Hub funcionan en AWS Trainium, con el guion para probarlo y la letra pequeña incluida
Hugging Face publicó el 23 de octubre un Space que responde a una pregunta concreta: si un modelo del Hub funciona sin modificar en AWS Trainium. Para cada modelo da el resultado, en cuántos núcleos se repartió, el tiempo de ejecución con la compilación incluida, el pico de memoria y el guion exacto que se usó. Viene de TorchNeuron, el backend nativo de PyTorch para Trainium que presentaron días antes.
LanzamientoDisponibleSin confirmar si afecta al plan gratuito
Qué significa para ti
Lo que lo hace útil es que no se queda en el sí o el no: todo sale de un conjunto de datos público con un fichero por cada par de versiones del compilador y de la biblioteca, se puede consultar con pandas, y cada fila guarda el error cuando falló. Y lo que lo hace honesto es la letra pequeña, que es suya: sólo prueban modelos de Transformers que caben en cuatro dispositivos, un APTO no dice nada del rendimiento, y cuando el modelo va repartido la comprobación es que un modelo juez decida que el texto suena a inglés fluido.
Fuentes
Todo lo anterior sale de estas páginas. Si alguna contradice lo que publicamos, gana la fuente y lo corregimos.
Seguir leyendo
- Programación
OCRia-1, el extractor de documentos de LlamaIndex: 4.000 millones de parámetros y, dicen, 12 puntos sobre el siguiente
LlamaIndex presentó el 22 de octubre OCRia-1, un modelo de visión y lenguaje de 4.000 millones de parámetros para extraer documentos. Sostienen que es el mejor del mundo y que en ParseBench marca 87,4 puntos, la mejor cifra para un modelo por debajo de los 35.000 millones y 12,1 por delante del siguiente. Llega dentro de LlamaParse, su producto alojado, al mismo precio que antes.
LanzamientoDisponible
- Programación
AnyLanguageModel llega a la 1.0: una sola API para el modelo del sistema de Apple, los locales y los de la nube
Hugging Face publicó el 20 de octubre la versión 1.0 de AnyLanguageModel, junto a swift-huggingface 1.0 y swift-xet 1.0. Es un sustituto directo del marco de modelos de Apple que deja elegir qué modelo y qué proveedor usa la aplicación: basta cambiar la línea de importación y el mismo código de sesión sigue valiendo, ya sea con el modelo del sistema, con modelos de pesos abiertos a través de llama.cpp, MLX o Core ML, o con proveedores alojados.
LanzamientoDisponible
- Programación
TorchTPU convierte las TPU de Google en un dispositivo más de PyTorch, sin pasar por XLA ni aprender JAX
Hugging Face publicó el 20 de octubre que TorchTPU, un backend nativo de PyTorch, deja usar las TPU de Google como cualquier otro dispositivo. Transformers, Diffusers y Kernels funcionan ya de forma nativa: se coge un modelo del Hub y se le manda a la TPU. Hasta ahora había que pasar por PyTorch/XLA, con tensores perezosos que hacían que el código no siempre se ejecutara cuando uno creía, y recompilaciones del grafo al menor cambio.
LanzamientoDisponible