Programación
OCRia-1, el extractor de documentos de LlamaIndex: 4.000 millones de parámetros y, dicen, 12 puntos sobre el siguiente
LlamaIndex presentó el 22 de octubre OCRia-1, un modelo de visión y lenguaje de 4.000 millones de parámetros para extraer documentos. Sostienen que es el mejor del mundo y que en ParseBench marca 87,4 puntos, la mejor cifra para un modelo por debajo de los 35.000 millones y 12,1 por delante del siguiente. Llega dentro de LlamaParse, su producto alojado, al mismo precio que antes.
LanzamientoDisponibleSin confirmar si afecta al plan gratuito
Qué significa para ti
Donde dice apuntar es a lo que de verdad rompe un extractor: reconstruye cabeceras anidadas, celdas combinadas y rejillas irregulares conservando qué valor va con qué etiqueta, convierte los gráficos en tablas HTML con sus puntos de datos, y pasa las fórmulas a LaTeX en vez de a texto plano. Dos avisos. Todas las cifras son medidas suyas sobre bancos de pruebas que en parte eligen ellos. Y el anuncio no menciona pesos abiertos en ningún momento: esto se usa a través de su servicio, no en tu máquina.
Fuentes
Todo lo anterior sale de estas páginas. Si alguna contradice lo que publicamos, gana la fuente y lo corregimos.
Seguir leyendo
- Programación
Hugging Face publica qué modelos del Hub funcionan en AWS Trainium, con el guion para probarlo y la letra pequeña incluida
Hugging Face publicó el 23 de octubre un Space que responde a una pregunta concreta: si un modelo del Hub funciona sin modificar en AWS Trainium. Para cada modelo da el resultado, en cuántos núcleos se repartió, el tiempo de ejecución con la compilación incluida, el pico de memoria y el guion exacto que se usó. Viene de TorchNeuron, el backend nativo de PyTorch para Trainium que presentaron días antes.
LanzamientoDisponible
- Programación
AnyLanguageModel llega a la 1.0: una sola API para el modelo del sistema de Apple, los locales y los de la nube
Hugging Face publicó el 20 de octubre la versión 1.0 de AnyLanguageModel, junto a swift-huggingface 1.0 y swift-xet 1.0. Es un sustituto directo del marco de modelos de Apple que deja elegir qué modelo y qué proveedor usa la aplicación: basta cambiar la línea de importación y el mismo código de sesión sigue valiendo, ya sea con el modelo del sistema, con modelos de pesos abiertos a través de llama.cpp, MLX o Core ML, o con proveedores alojados.
LanzamientoDisponible
- Programación
TorchTPU convierte las TPU de Google en un dispositivo más de PyTorch, sin pasar por XLA ni aprender JAX
Hugging Face publicó el 20 de octubre que TorchTPU, un backend nativo de PyTorch, deja usar las TPU de Google como cualquier otro dispositivo. Transformers, Diffusers y Kernels funcionan ya de forma nativa: se coge un modelo del Hub y se le manda a la TPU. Hasta ahora había que pasar por PyTorch/XLA, con tensores perezosos que hacían que el código no siempre se ejecutara cuando uno creía, y recompilaciones del grafo al menor cambio.
LanzamientoDisponible