Charte du collecteur et sources couvertes

LoiClaire est un moteur de recherche vertical sur la parole politique, enrichi de deux capacités qu'aucun moteur généraliste n'a : le versionnage des mesures et le suivi d'application. Cette page dit exactement ce qui est collecté, comment, et ce qui ne l'est pas.

Principe directeur : mieux vaut 90 % de la parole publique parfaitement sourcée que 100 % avec du flou juridique. Un projet citoyen de transparence doit être irréprochable : pas de Tor, pas de rotation d'IP, aucun contournement de paywall, captcha, blocage ou rate limit. Un site qui bloque → on le retire et on cherche une voie officielle.

La charte du bot vertueux

Bloc de règles	Contenu
Identification	User-Agent explicite (nom du projet + URL + contact). Aucun camouflage.
Respect des sources	robots.txt lu et respecté ; CGU respectées ; jamais de contournement de mesure technique de protection.
Charge	3 à 5 s minimum entre deux requêtes sur un même domaine ; heures creuses ; un seul robot par cible.
Données	Contenus publics uniquement ; citation exacte archivée telle quelle ; source complète conservée (URL, date, heure, média, titre).
RGPD	Minimisation : aucune donnée personnelle de tiers (commentaires, spectateurs…), pas de profiling ; conformité CNIL.
Transparence	Cette page ; chaque donnée affichée renvoie à sa source d'origine ; code du collecteur open source autant que possible.
Erreurs	Backoff exponentiel sur 403/429, puis retrait de la source après échecs répétés ; les 404 alimentent une archive mortuaire (preuve de disparition du contenu, utile au versionnage).

Ce qui est couvert — et ce qui ne l'est pas

Couvert (environ 60–70 % de la parole publique) : programmes et communiqués officiels, vidéos YouTube publiques (meetings filmés), articles en accès libre, comptes publics X / Facebook / Mastodon.

Non couvert : médias payants (contourner un paywall est illégal → abonnement rédactionnel et lecture manuelle), radio/TV sans API ni sous-titres (partenariats INA + bénévoles), Instagram / TikTok / WhatsApp (CGU interdisant la collecte → capture manuelle par contributeurs), « off » et couloirs (jamais : ce n'est pas une promesse publique), sites qui bloquent le collecteur (demande de partenariat par e-mail).

Modèle hybride : un bot pour le flux public automatisable (socle quotidien), des bénévoles pour ce qui résiste, des partenariats (INA, BnF, universités) pour les archives et la légitimité. La collecte est lancée après validation humaine d'un modèle de mesures sourcées à la main.

Sources couvertes — liste publique

Institutions : open data Assemblée nationale (propositions de loi, amendements, votes), Sénat, Vie-publique.fr.
Médias : France Inter, France Info, BFM, LCI, CNews, TF1, France 2, presse nationale (flux RSS publics).
Fact-checkers : AFP Factuel, Vraiment faux.
Réseaux : X, YouTube (API officielles), Facebook public, Mastodon.
Archives : INA, BnF.
Partis : sites officiels des blocs (programmes, communiqués).

Rythme de collecte : quotidien (bot : RSS, API X/YouTube, sites des partis), hebdomadaire (revue humaine des émissions politiques), à chaque meeting (archive vidéo + transcription sous 24–48 h), mensuel (revue des propositions de loi par groupe).

LoiClaire es un motor de búsqueda vertical sobre la palabra política, con dos capacidades que ningún buscador generalista tiene: el versionado de las medidas y el seguimiento de su aplicación. Esta página dice exactamente qué se recoge, cómo, y qué no.

Principio rector: más vale el 90 % de la palabra pública con fuentes impecables que el 100 % en una zona gris jurídica. Un proyecto ciudadano de transparencia debe ser irreprochable: nada de Tor, nada de rotación de IP, ninguna elusión de muros de pago, captchas, bloqueos o límites de peticiones. Si un sitio bloquea, se retira y se busca una vía oficial.

La carta del bot virtuoso

Bloque de reglas	Contenido
Identificación	User-Agent explícito (nombre del proyecto + URL + contacto). Ningún camuflaje.
Respeto de las fuentes	robots.txt leído y respetado; condiciones de uso respetadas; nunca se elude una medida técnica de protección.
Carga	De 3 a 5 s como mínimo entre dos peticiones a un mismo dominio; horas valle; un solo robot por objetivo.
Datos	Solo contenidos públicos; cita exacta archivada tal cual; fuente completa conservada (URL, fecha, hora, medio, título).
RGPD	Minimización: ningún dato personal de terceros (comentarios, espectadores…), ninguna elaboración de perfiles; conformidad con la CNIL.
Transparencia	Esta página; cada dato mostrado remite a su fuente de origen; código del recolector abierto en la medida de lo posible.
Errores	Espera exponencial ante un 403/429, y retirada de la fuente tras fallos repetidos; los 404 alimentan un archivo de contenidos desaparecidos (la prueba de su desaparición, útil para el versionado).

Lo que se cubre — y lo que no

Cubierto (alrededor del 60–70 % de la palabra pública): programas y comunicados oficiales, vídeos públicos de YouTube (mítines grabados), artículos de acceso libre, cuentas públicas de X / Facebook / Mastodon.

No cubierto: medios de pago (eludir un muro de pago es ilegal → suscripción de la redacción y lectura manual), radio/TV sin API ni subtítulos (colaboraciones con el INA + voluntarios), Instagram / TikTok / WhatsApp (sus condiciones prohíben la recogida → captura manual por colaboradores), el «off» y los pasillos (nunca: no es una promesa pública), sitios que bloquean al recolector (solicitud de colaboración por correo electrónico).

Modelo híbrido: un bot para el flujo público automatizable (la base diaria), voluntarios para lo que se resiste, colaboraciones (INA, BnF, universidades) para los archivos y la legitimidad. La recolección se lanza después de que una persona valide un modelo de medidas con fuentes verificadas a mano.

Fuentes cubiertas en Francia — lista pública

Instituciones: datos abiertos de la Asamblea nacional (proposiciones de ley, enmiendas, votaciones), Senado, Vie-publique.fr.
Medios: France Inter, France Info, BFM, LCI, CNews, TF1, France 2, prensa nacional (flujos RSS públicos).
Verificadores: AFP Factuel, Vraiment faux.
Redes: X, YouTube (API oficiales), Facebook público, Mastodon.
Archivos: INA, BnF.
Partidos: sitios oficiales de los grupos (programas, comunicados).

Ritmo de recolección: diario (bot: RSS, API de X/YouTube, sitios de los partidos), semanal (revisión humana de los programas políticos de radio y televisión), en cada mitin (archivo de vídeo + transcripción en 24–48 h), mensual (revisión de las proposiciones de ley por grupo).