Un buscador de señales que corre en mi propia máquina
Programa en Python que lee Hacker News, Reddit, GitHub y RSS, saca los repetidos y puntúa lo que vale la pena. Corre entero en mi máquina, sin servicios de pago.
Leer todo lo relevante que se publica cada día es imposible a mano. Este programa lo convierte en un problema de datos: leer, quitar repetidos, clasificar y ordenar. Siempre igual, y sin salir de mi máquina.
El problema
Las señales útiles están dispersas en HackerNews, decenas de subreddits, GitHub trending, Indie Hackers, Product Hunt y feeds RSS de alto valor. El ruido es enorme y la mayoría de herramientas mandan tus datos a un SaaS. Yo quería lo contrario: control total, costo marginal cercano a cero y nada saliendo de mi máquina.
El enfoque
Un pipeline por etapas, cada una aislada y testeable:
Scrapers async → Dedupe (hash + coseno) → Clasificación LLM → Scoring 0–100 → Reporte Markdown- Ingesta asíncrona y paralela con
asynciosobre 6+ fuentes. - Dedupe en dos niveles: hash exacto para duplicados literales, y similitud coseno sobre embeddings
bge-m3para casi-duplicados. - Clasificación con un modelo razonador local vía Ollama: categoría, problema, audiencia y viabilidad.
- Scoring compuesto 0–100 y reporte Markdown con brief accionable.
Persistencia en DuckDB — analítica embebida, sin servidor. Ruff + pytest mantienen el código limpio y las etapas verificadas.
El resultado
Horas de lectura reducidas a un reporte ordenado, corriendo sobre una sola placa de video de escritorio. La misma idea que aplico como servicio: usar el modelo más barato que resuelva la tarea.