WEBVTT

STYLE
::cue {
  background: rgba(0, 0, 0, 0.68);
  color: #ffffff;
  font-family: system-ui, -apple-system, "Segoe UI", sans-serif;
  line-height: 1.35;
}

1
00:00:01.500 --> 00:00:06.026 line:80% align:center position:50%,center
Esta semana llegó un nuevo modelo
de IA con una propiedad extraña.

2
00:00:06.026 --> 00:00:09.740 line:80% align:center position:50%,center
De una parte de su pensamiento
no hay nada que leer.

3
00:00:11.340 --> 00:00:15.511 line:80% align:center position:50%,center
Quienes están alarmados por eso
tienen razón en los hechos.

4
00:00:15.511 --> 00:00:18.505 line:80% align:center position:50%,center
Creo que se equivocan en la conclusión.

5
00:00:18.505 --> 00:00:23.500 line:80% align:center position:50%,center
Este es un ensayo sobre por qué, y
sobre lo que Picasso puede enseñarnos.

6
00:00:25.900 --> 00:00:28.730 line:80% align:center position:50%,center
Uno. Lo que realmente pasó.

7
00:00:30.130 --> 00:00:34.853 line:80% align:center position:50%,center
Según lo reportado, el nuevo
modelo de OpenAI, GPT-6 Astra,

8
00:00:34.853 --> 00:00:38.758 line:80% align:center position:50%,center
usa una técnica llamada
profundidad recurrente:

9
00:00:38.758 --> 00:00:44.436 line:80% align:center position:50%,center
un bloque de la red que repite en bucle
el mismo cómputo varias veces sin

10
00:00:44.436 --> 00:00:47.250 line:80% align:center position:50%,center
escribir nada en el intermedio.

11
00:00:48.450 --> 00:00:52.831 line:80% align:center position:50%,center
De esa parte de su
pensamiento no hay cadena de

12
00:00:52.831 --> 00:00:57.917 line:80% align:center position:50%,center
pensamiento que leer, porque
ahí no hay lenguaje alguno.

13
00:00:57.917 --> 00:01:04.100 line:80% align:center position:50%,center
Algunos investigadores llaman
«neuralese» a lo que sale de ese bloque.

14
00:01:05.500 --> 00:01:08.878 line:80% align:center position:50%,center
La empresa dice que el
uso es limitado y que el

15
00:01:08.878 --> 00:01:12.142 line:80% align:center position:50%,center
razonamiento del modelo
sigue siendo legible.

16
00:01:12.142 --> 00:01:16.773 line:80% align:center position:50%,center
La comunidad de seguridad respondió
que el problema no es este modelo

17
00:01:16.773 --> 00:01:21.291 line:80% align:center position:50%,center
sino el precedente: en cuanto un
laboratorio demuestra que se puede

18
00:01:21.291 --> 00:01:25.580 line:80% align:center position:50%,center
comprar eficiencia entregando el
borrador, los demás lo siguen.

19
00:01:27.380 --> 00:01:31.841 line:80% align:center position:50%,center
Hasta aquí, una historia
sobre una arquitectura.

20
00:01:31.841 --> 00:01:36.380 line:80% align:center position:50%,center
Y hay una parte que debería
recibir más atención.

21
00:01:37.980 --> 00:01:42.684 line:80% align:center position:50%,center
En el resumen de seguridad que
publicó el mismo día del lanzamiento,

22
00:01:42.684 --> 00:01:47.035 line:80% align:center position:50%,center
OpenAI escribió que la monitorabilidad
de Astra ha disminuido.

23
00:01:47.035 --> 00:01:51.091 line:80% align:center position:50%,center
El modelo controla mejor su
propia cadena de pensamiento,

24
00:01:51.091 --> 00:01:55.265 line:80% align:center position:50%,center
es menos propenso a escribir
en ella algo incriminatorio y,

25
00:01:55.265 --> 00:01:59.910 line:80% align:center position:50%,center
en pruebas adversariales, puede
rendir menos a propósito sin que lo

26
00:01:59.910 --> 00:02:01.140 line:80% align:center position:50%,center
detecten.

27
00:02:02.540 --> 00:02:07.961 line:80% align:center position:50%,center
Seis meses antes, la misma empresa
había publicado un estudio cuyo

28
00:02:07.961 --> 00:02:13.381 line:80% align:center position:50%,center
título dice lo contrario: a los
modelos de razonamiento les cuesta

29
00:02:13.381 --> 00:02:17.872 line:80% align:center position:50%,center
controlar sus cadenas de
pensamiento, y eso es bueno.

30
00:02:17.872 --> 00:02:21.290 line:80% align:center position:50%,center
A esa medición la llamaron un canario.

31
00:02:22.490 --> 00:02:24.900 line:80% align:center position:50%,center
El canario dejó de cantar.

32
00:02:24.900 --> 00:02:29.086 line:80% align:center position:50%,center
Y dejó de cantar sin ningún
bucle en la arquitectura.

33
00:02:29.086 --> 00:02:32.680 line:80% align:center position:50%,center
La capacidad misma está
cerrando la ventana.

34
00:02:35.280 --> 00:02:40.360 line:80% align:center position:50%,center
Dos. El borrador nunca fue el pensamiento.

35
00:02:41.760 --> 00:02:46.594 line:80% align:center position:50%,center
¿Qué es en realidad una cadena de
pensamiento? Es una representación.

36
00:02:46.594 --> 00:02:50.949 line:80% align:center position:50%,center
Texto que el modelo produce para
nosotros, en nuestro idioma,

37
00:02:50.949 --> 00:02:56.142 line:80% align:center position:50%,center
moldeado por un entrenamiento que premia
el texto que nos parece razonable.

38
00:02:56.142 --> 00:03:01.336 line:80% align:center position:50%,center
Incluso los investigadores que se apoyan
en ella dicen que pocos toman esos

39
00:03:01.336 --> 00:03:06.050 line:80% align:center position:50%,center
registros como una representación
directa de lo que el modelo hace.

40
00:03:07.450 --> 00:03:10.641 line:80% align:center position:50%,center
Fue útil: así reconstruyó
OpenAI lo que sus

41
00:03:10.641 --> 00:03:13.889 line:80% align:center position:50%,center
agentes le hicieron a
Hugging Face en julio.

42
00:03:13.889 --> 00:03:17.717 line:80% align:center position:50%,center
Pero fue útil como es útil
el diario de un sospechoso:

43
00:03:17.717 --> 00:03:21.950 line:80% align:center position:50%,center
porque el sospechoso todavía no
era bueno guardando secretos.

44
00:03:23.550 --> 00:03:27.103 line:80% align:center position:50%,center
Construimos una cultura
de seguridad sobre la

45
00:03:27.103 --> 00:03:30.403 line:80% align:center position:50%,center
incompetencia de la máquina para ocultar.

46
00:03:30.403 --> 00:03:34.210 line:80% align:center position:50%,center
Y ahora nos sorprende que
llegara la competencia.

47
00:03:36.810 --> 00:03:40.320 line:80% align:center position:50%,center
Tres. Lo que le quedaba a Picasso.

48
00:03:41.720 --> 00:03:46.612 line:80% align:center position:50%,center
Pablo Picasso dibujaba como un académico
antes de tener edad de afeitarse.

49
00:03:46.612 --> 00:03:51.390 line:80% align:center position:50%,center
Entró en la clase avanzada de la
academia de Barcelona a los trece años.

50
00:03:52.790 --> 00:03:58.170 line:80% align:center position:50%,center
Cuando uno ha dominado el realismo
siendo adolescente, ¿qué queda?

51
00:03:58.170 --> 00:04:02.840 line:80% align:center position:50%,center
¿Más realismo? ¿Una fotografía
mejor que una fotografía?

52
00:04:04.440 --> 00:04:07.813 line:80% align:center position:50%,center
Lo que quedaba era Les
Demoiselles d'Avignon,

53
00:04:07.813 --> 00:04:12.077 line:80% align:center position:50%,center
pintado en 1907, que encontró,
en palabras de sus biógrafos,

54
00:04:12.077 --> 00:04:14.202 line:80% align:center position:50%,center
un espanto casi unánime.

55
00:04:14.202 --> 00:04:17.515 line:80% align:center position:50%,center
No se exhibió en público
durante nueve años.

56
00:04:17.515 --> 00:04:22.254 line:80% align:center position:50%,center
El cubismo vino después: una manera
de ver que el canon académico no

57
00:04:22.254 --> 00:04:26.756 line:80% align:center position:50%,center
habría podido imaginar, a la que
no habría podido llegar con sus

58
00:04:26.756 --> 00:04:30.960 line:80% align:center position:50%,center
propias reglas y que, cuando
apareció, no supo interpretar.

59
00:04:32.560 --> 00:04:38.056 line:80% align:center position:50%,center
Nadie habría podido auditar ese
razonamiento por anticipado y aprobarlo.

60
00:04:38.056 --> 00:04:41.820 line:80% align:center position:50%,center
Y no estoy diciendo que
un modelo sea Picasso.

61
00:04:43.020 --> 00:04:47.487 line:80% align:center position:50%,center
Estoy diciendo que exigirle a una
máquina que piense en nuestra gramática,

62
00:04:47.487 --> 00:04:51.547 line:80% align:center position:50%,center
en frases que podamos leer, es
exigirle que siga siendo académica.

63
00:04:51.547 --> 00:04:55.301 line:80% align:center position:50%,center
Podemos tener una réplica muy
buena del razonamiento humano,

64
00:04:55.301 --> 00:04:58.648 line:80% align:center position:50%,center
o podemos tener algo mejor
que nuestro razonamiento,

65
00:04:58.648 --> 00:05:02.250 line:80% align:center position:50%,center
que por construcción no vamos
a poder seguir paso a paso.

66
00:05:04.850 --> 00:05:09.860 line:80% align:center position:50%,center
Cuatro. Procesos que no entendemos
y en los que confiamos igual.

67
00:05:11.260 --> 00:05:17.371 line:80% align:center position:50%,center
Vivimos rodeados de procesos que no
entendemos y en los que confiamos igual.

68
00:05:17.371 --> 00:05:23.410 line:80% align:center position:50%,center
La vida es uno: no podemos explicarla,
y somos su ejecución y su resultado.

69
00:05:24.610 --> 00:05:28.916 line:80% align:center position:50%,center
Una tortuga caguama que
salió de su playa recién

70
00:05:28.916 --> 00:05:32.772 line:80% align:center position:50%,center
nacida vuelve a encontrarla, años después.

71
00:05:32.772 --> 00:05:37.003 line:80% align:center position:50%,center
Un canguro recién nacido,
ciego y de unos pocos

72
00:05:37.003 --> 00:05:41.685 line:80% align:center position:50%,center
centímetros de largo, trepa
sin ayuda hasta la bolsa.

73
00:05:41.685 --> 00:05:44.940 line:80% align:center position:50%,center
Todo mamífero nace sabiendo mamar.

74
00:05:46.340 --> 00:05:51.247 line:80% align:center position:50%,center
Nadie ha leído la cadena de
pensamiento detrás de nada de eso.

75
00:05:51.247 --> 00:05:54.932 line:80% align:center position:50%,center
Confiamos en ello porque
ha sido calificado,

76
00:05:54.932 --> 00:05:59.839 line:80% align:center position:50%,center
sin piedad, por resultados,
durante más tiempo del que existen

77
00:05:59.839 --> 00:06:01.150 line:80% align:center position:50%,center
lectores.

78
00:06:02.550 --> 00:06:09.370 line:80% align:center position:50%,center
No saber cómo corre un proceso no es
algo malo. Ni siquiera es algo nuevo.

79
00:06:11.170 --> 00:06:16.313 line:80% align:center position:50%,center
La objeción se escribe sola: la evolución
tuvo millones de años y ninguna

80
00:06:16.313 --> 00:06:21.638 line:80% align:center position:50%,center
prisa; nosotros tenemos meses, y un
modelo que actúa a velocidad de máquina.

81
00:06:21.638 --> 00:06:25.624 line:80% align:center position:50%,center
Por eso «verificados con el
tiempo» tiene que volverse

82
00:06:25.624 --> 00:06:29.550 line:80% align:center position:50%,center
«verificados por etapas,
antes de nada irreversible».

83
00:06:32.150 --> 00:06:36.630 line:80% align:center position:50%,center
Cinco. La objeción que
más en serio me tomo.

84
00:06:38.030 --> 00:06:42.445 line:80% align:center position:50%,center
Hay productos que no se pueden
calificar después del hecho.

85
00:06:42.445 --> 00:06:46.924 line:80% align:center position:50%,center
Un modelo en el nivel crítico
de capacidad cibernética puede

86
00:06:46.924 --> 00:06:51.402 line:80% align:center position:50%,center
encontrar una falla y explotarla
sin que un humano guíe cada

87
00:06:51.402 --> 00:06:54.747 line:80% align:center position:50%,center
paso; para cuando uno evalúa ese producto,

88
00:06:54.747 --> 00:06:56.140 line:80% align:center position:50%,center
ya ocurrió.

89
00:06:57.540 --> 00:07:00.627 line:80% align:center position:50%,center
Peor: un modelo capaz de evadir un monitor

90
00:07:00.627 --> 00:07:03.658 line:80% align:center position:50%,center
también puede hacer trampa en una prueba.

91
00:07:03.658 --> 00:07:06.177 line:80% align:center position:50%,center
El bajo rendimiento estratégico,

92
00:07:06.177 --> 00:07:09.207 line:80% align:center position:50%,center
el sandbagging, es una mentira a nivel de

93
00:07:09.207 --> 00:07:10.419 line:80% align:center position:50%,center
producto.

94
00:07:10.419 --> 00:07:13.733 line:80% align:center position:50%,center
Si engaña al calificador,
«alinea el producto»

95
00:07:13.733 --> 00:07:16.650 line:80% align:center position:50%,center
es una frase cómoda para decir «ojalá».

96
00:07:18.250 --> 00:07:23.460 line:80% align:center position:50%,center
Lo concedo todo. Y eso cambia la
tesis de una manera que la mejora.

97
00:07:25.260 --> 00:07:28.557 line:80% align:center position:50%,center
Alinear el producto no
puede significar mirar

98
00:07:28.557 --> 00:07:31.334 line:80% align:center position:50%,center
el resultado y encogerse de hombros.

99
00:07:31.334 --> 00:07:36.074 line:80% align:center position:50%,center
Tiene que significar construir el
mundo de modo que los productos sean

100
00:07:36.074 --> 00:07:41.102 line:80% align:center position:50%,center
verificables antes de ser irreversibles:
entornos de prueba que signifiquen

101
00:07:41.102 --> 00:07:45.668 line:80% align:center position:50%,center
algo, autoridad concedida por etapas,
calificadores independientes,

102
00:07:45.668 --> 00:07:50.350 line:80% align:center position:50%,center
acciones que se puedan revertir, y
la negativa a conceder las que no.

103
00:07:52.950 --> 00:07:56.250 line:80% align:center position:50%,center
Seis. Instrumentación, no prosa.

104
00:07:57.650 --> 00:08:02.743 line:80% align:center position:50%,center
Nótese qué hizo OpenAI cuando dejó de
confiar en la cadena de pensamiento.

105
00:08:02.743 --> 00:08:04.868 line:80% align:center position:50%,center
No volvió a leer frases.

106
00:08:04.868 --> 00:08:09.368 line:80% align:center position:50%,center
Puso clasificadores de activaciones
sobre cada token muestreado,

107
00:08:09.368 --> 00:08:13.333 line:80% align:center position:50%,center
detectores que vigilan la
actividad interna del modelo,

108
00:08:13.333 --> 00:08:17.832 line:80% align:center position:50%,center
no su prosa, y escribió que la
auditoría de alineación tiene que

109
00:08:17.832 --> 00:08:21.560 line:80% align:center position:50%,center
desarrollarse más allá de
la cadena de pensamiento.

110
00:08:23.160 --> 00:08:28.326 line:80% align:center position:50%,center
Esa es la dirección correcta, y no
es un proceso legible por humanos.

111
00:08:28.326 --> 00:08:33.880 line:80% align:center position:50%,center
Es instrumentación. No necesitamos que
la máquina piense en nuestro idioma.

112
00:08:33.880 --> 00:08:39.240 line:80% align:center position:50%,center
Necesitamos instrumentos en sus
fronteras y estándares en sus productos.

113
00:08:41.240 --> 00:08:45.151 line:80% align:center position:50%,center
Así que aquí está mi
posición, como alguien que ha

114
00:08:45.151 --> 00:08:48.870 line:80% align:center position:50%,center
dedicado su carrera a la
innovación disruptiva.

115
00:08:50.270 --> 00:08:53.957 line:80% align:center position:50%,center
Si hacemos que el cambio
se parezca al pasado,

116
00:08:53.957 --> 00:08:58.554 line:80% align:center position:50%,center
o lo doblegamos a las expectativas
y estructuras del pasado,

117
00:08:58.554 --> 00:09:00.098 line:80% align:center position:50%,center
no es cambio.

118
00:09:00.098 --> 00:09:03.461 line:80% align:center position:50%,center
No trunquen la innovación; no la mutilen.

119
00:09:03.461 --> 00:09:07.538 line:80% align:center position:50%,center
Sean parte de ella, acompáñenla
y gobiérnenla por lo

120
00:09:07.538 --> 00:09:11.160 line:80% align:center position:50%,center
que produce y por lo que
se le permite tocar.

121
00:09:12.960 --> 00:09:17.391 line:80% align:center position:50%,center
Sostengan la línea en los productos.
Sosténganla en la autoridad.

122
00:09:17.391 --> 00:09:20.388 line:80% align:center position:50%,center
Sosténganla en lo que se puede deshacer.

123
00:09:20.388 --> 00:09:24.130 line:80% align:center position:50%,center
Dejen que la máquina piense
en lo que sea que piense.

124
00:09:26.530 --> 00:09:31.082 line:80% align:center position:50%,center
Picasso no le debía a la academia
una explicación del cubismo.

125
00:09:31.082 --> 00:09:35.510 line:80% align:center position:50%,center
Le debía al mundo el cuadro, y
el cuadro es lo que juzgamos.

126
00:09:38.510 --> 00:09:41.590 line:80% align:center position:50%,center
Alinea el producto, no el proceso.

127
00:09:41.590 --> 00:09:46.000 line:80% align:center position:50%,center
El ensayo completo, la
evidencia y la audiencia están

128
00:09:46.000 --> 00:09:49.570 line:80% align:center position:50%,center
en cemi.ai, dialogues, align the product.
