Cómo está hecho

1. La página de día

La página «July 22» tiene sus secciones de siempre: acontecimientos, nacimientos, fallecimientos, celebraciones y santoral, con una línea por hecho. De ella salen 392 hechos: 56 acontecimientos, 227 nacimientos, 101 fallecimientos, 1 celebraciones y 7 santos. Con los 366 días, 145.284 hechos. Las páginas se bajan enteras, de 50 en 50, con la API de la Wikipedia.

2. Partir cada línea en un hecho

Así está escrita una línea del 22 de julio, tal cual (el código de la Wikipedia):

*[[1298]] – [[Wars of Scottish Independence]]: [[Battle of Falkirk]]: King [[Edward I of England]] and his [[longbowmen]] defeat [[William Wallace]] and his Scottish [[schiltron]]s outside the town of [[Falkirk]].

Y esto es lo que sacamos de ella. La sección da el tipo (A, acontecimiento); lo que va antes de los dos puntos, el año; el texto queda limpio (sin corchetes ni plantillas); y cada enlace se guarda aparte, con lo que se lee (el rótulo) y adónde lleva (el destino):

{
 "dia": "07-22",
 "tipo": "A",
 "anio": 1298,
 "pais": null,
 "texto": "Wars of Scottish Independence: Battle of Falkirk: King Edward I of England and his longbowmen defeat William Wallace and his Scottish schiltrons outside the town of Falkirk.",
 "enlaces": [
  {
   "destino": "Wars of Scottish Independence",
   "texto": "Wars of Scottish Independence",
   "fecha": false
  },
  {
   "destino": "Battle of Falkirk",
   "texto": "Battle of Falkirk",
   "fecha": false
  },
  {
   "destino": "Edward I of England",
   "texto": "Edward I of England",
   "fecha": false
  },
  {
   "destino": "Longbowmen",
   "texto": "longbowmen",
   "fecha": false
  },
  {
   "destino": "William Wallace",
   "texto": "William Wallace",
   "fecha": false
  },
  {
   "destino": "Schiltron",
   "texto": "schiltron",
   "fecha": false
  },
  {
   "destino": "Falkirk",
   "texto": "Falkirk",
   "fecha": false
  }
 ]
}

En la web, el texto vuelve a llevar sus enlaces, pero ahora a nuestras páginas (en azul las que tienen): «Wars of Scottish Independence: Battle of Falkirk: King Edward I of England and his longbowmen defeat William Wallace and his Scottish schiltrons outside the town of Falkirk.»

3. Las entidades: adónde lleva de verdad cada enlace

Un enlace puede llevar a una redirección (otro nombre de la misma página), a una página de desambiguación (un nombre con varios significados) o a una página que no existe (un enlace rojo). Se pregunta a la Wikipedia por cada destino, de 50 en 50, y se guarda el título final y su número de Wikidata:

[
 {
  "destino": "Wars of Scottish Independence",
  "titulo": "Wars of Scottish Independence",
  "redirige": false,
  "existe": true,
  "desambiguacion": false,
  "bytes": 45923,
  "qid": "Q1368240"
 },
 {
  "destino": "Battle of Falkirk",
  "titulo": "Battle of Falkirk",
  "redirige": false,
  "existe": true,
  "desambiguacion": false,
  "bytes": 20616,
  "qid": "Q589318"
 },
 {
  "destino": "Edward I of England",
  "titulo": "Edward I",
  "redirige": true,
  "existe": true,
  "desambiguacion": false,
  "bytes": 145529,
  "qid": "Q57798"
 },
 {
  "destino": "Longbowmen",
  "titulo": "Longbow",
  "redirige": true,
  "existe": true,
  "desambiguacion": false,
  "bytes": 15103,
  "qid": "Q10729167"
 },
 {
  "destino": "William Wallace",
  "titulo": "William Wallace",
  "redirige": false,
  "existe": true,
  "desambiguacion": false,
  "bytes": 45047,
  "qid": "Q82457"
 },
 {
  "destino": "Schiltron",
  "titulo": "Schiltron",
  "redirige": false,
  "existe": true,
  "desambiguacion": false,
  "bytes": 9440,
  "qid": "Q1754114"
 },
 {
  "destino": "Falkirk",
  "titulo": "Falkirk",
  "redirige": false,
  "existe": true,
  "desambiguacion": false,
  "bytes": 67536,
  "qid": "Q623687"
 }
]

De todos los enlaces de los 366 días: 11.714 redirecciones, 34 enlaces rojos, 5 desambiguaciones y 134.656 entidades reales (personas, lugares, cosas, acontecimientos). Así fue como apareció el primer error: «Cortes Constituyentes» juntaba las de 1931 y las de 1977, porque los dos enlaces llevaban a la misma página general.

4. Los apuntadores: cómo se nombra cada cosa

Lo que se lee en un enlace («Edward I of England») y adónde lleva («Edward I») es un apuntador a un objeto. Sale gratis de los enlaces y se guarda con marcas: de dónde sale, en qué época se usa (los años de los hechos) y qué relación tiene con el nombre del objeto (nombre propio, abreviado, sigla, metonimia, gentilicio, descripción…):

{
 "apuntador": "Edward I of England",
 "objeto": "Edward I",
 "veces": 7,
 "marcas": {
  "fuente": "en.wikipedia",
  "epoca": {
   "desde": 1274,
   "hasta": 1304,
   "siglos": {
    "XIII": 6,
    "XIV": 1
   }
  },
  "relacion": "otro nombre"
 }
}

Con eso, cada página de objeto tiene su nube «Cómo se le llama».

5. Las personas: país y oficio

Los nacimientos y las muertes siguen casi siempre la misma forma: «Name, nationality occupation (died year)»: el gentilicio delante y el oficio al final. Una línea del 22 de julio:

*[[1882]] – [[Edward Hopper]], American painter and etcher (died 1967)

El país sale del gentilicio («American» → United States, con la lista «List of adjectival and demonymic forms for countries and nations» de la propia Wikipedia y una tabla nuestra para los históricos); el oficio («painter») se lleva a uno de 18 temas con otra tabla («painter» → artes):

{
 "dia": "07-22",
 "tipo": "N",
 "anio": 1882,
 "persona": "Edward Hopper",
 "nombre": "Edward Hopper",
 "descriptor": "American painter and etcher",
 "otro_anio": 1967,
 "paises": [
  {
   "pais": "United States",
   "entidad": null,
   "clase": "pais",
   "ambigua": false,
   "rol": "nacionalidad",
   "procedencia": "gentilicio:american"
  }
 ],
 "oficios": [
  {
   "oficio": "american painter",
   "cabeza": "painter",
   "tema": "artes",
   "subtema": null,
   "procedencia": "oficio:painter"
  },
  {
   "oficio": "etcher",
   "cabeza": "etcher",
   "tema": null,
   "subtema": null,
   "procedencia": null
  }
 ],
 "temas": [
  "artes"
 ]
}

Así salen 117.953 personas, el 95 % con país y el 98 % con tema. Están ordenadas en los temas.

6. La página de cada objeto

Las 2.744 entidades con 5 hechos o más tienen página (por ejemplo Wars of Scottish Independence o Edward I). En ella: el primer párrafo y la foto de su artículo; cómo se le llama; con quién aparece; su red; sus años; su desarrollo en columnas, un hecho por fila y por orden de fecha; y todos sus hechos por el calendario.

Si es una persona, las columnas son su vida: personal, profesional y relacionado, con la regla de cada punto (si el protagonista del hecho es otra persona, va a relacionado; lo de después de su muerte, en personal y en gris) y sus hitos marcados: nace, muere, se casa, premio… Si es cualquier otra cosa (un país, una ciudad, una institución), las columnas son el tipo de hecho (acontecimiento, nace, muere) y el color es el tema: el oficio de quien nace o muere, o las palabras del hecho («terremoto» → desastres, «tropas» → guerra, «estrena» → cultura…).

7. La red

Las entidades que salen en el mismo hecho quedan unidas: en el ejemplo, «Wars of Scottish Independence», «Battle of Falkirk», «Edward I», «Longbow». La unión pesa tantos hechos como compartan. Con todos los días: 46.957 entidades y 86.467 uniones. En la página de cada objeto, su red son sus vecinas más ligadas, elegidas por lo que comparten respecto a lo que aparecen (para que un país, que sale en todo, no tape lo particular).

Los grupos (la red completa) salen solos con el método de Louvain: junta las entidades que se tocan mucho entre ellas y poco con las de fuera, y descuenta lo que tocaría por azar. Nadie dice qué va con qué.

Los lugares. Con lugares, los grupos salen por países. Para ver los temas se quitan los lugares, con tres reglas: es un país o nación de la lista de gentilicios; o se la nombra con mayúscula y, al menos una vez de cada cinco, detrás de «en», «desde», «hacia», «cerca de» o «frente a» («en Viena», «desde Cabo Cañaveral»); o su título empieza por Provincia, Río, Isla, Departamento y parecidos. Los astros (Marte, la Luna) no cuentan como lugar: son tema. Sin lugares salen grupos como la carrera espacial, los papas, el fútbol o los terremotos.

Temas y subtemas. Louvain a veces junta en una comunidad grupos pequeños que no tienen nada que ver (Thomas Edison con Michael Jackson y la guerra de sucesión austríaca). Por eso cada tema se vuelve a partir por dentro con el mismo método: si sus partes salen claras, cada parte de 15 entidades o más es un subtema (dentro de la carrera espacial: la Luna y los astronautas, las sondas a Júpiter y Saturno, los asteroides…); si no (los ensayos nucleares), el tema entero es un subtema. Un hecho entra en un subtema por su anclaje: lo atadas que están sus entidades al subtema sin contar ese mismo hecho. Así no se cuela un hecho que nombra entidades que solo salen en él (la revolución de Guatemala de 1944 colgaba de «Cuba»). El nombre de cada tema son las dos palabras o nombres que más distinguen sus hechos de los de los demás (frecuencia en sus hechos por rareza en el resto), escritos como salen en el texto.

8. El calendario

Una página por mes y una por día. En cada casilla del mes, el acontecimiento, el nacimiento y la muerte que más pesan: el peso de un hecho es la suma, por cada entidad con página que nombra, del logaritmo de sus hechos. Gana el hecho que toca cosas de las que hay mucho que contar y que además se pueden pulsar.

9. Lo que hay que saber

Las páginas de día las escribe mucha gente, y se nota: hay sesgos (las mujeres con más hechos son casi todas reinas o políticas; en el siglo XIX la comunidad más grande es la de las guerras del Río de la Plata; los ensayos nucleares de Nevada salen enormes porque alguien los metió día a día) y hay errores (hechos sin año, enlaces que llevan a la página equivocada). No los corregimos aquí: los enseñamos. Las páginas de la Wikipedia están vivas; más adelante se repasarán cada mes y se sumarán las efemérides de otras Wikipedias.