Entropía de Shannon vs entropía de von Neumann

La entropía es una figura de mérito que cuantifica la sorpresa. Tiene una forma clásica que construyó Shannon y una forma cuántica (llamada de von Neumann).

Veamos cómo la entropía de Shannon mide la sorpresa en un mensaje de mil bits. Si el mensaje fuera todo ceros, bastaría enviar la frase "todo ceros". Si enviásemos 500 ceros seguidos de quinientos unos, también sería ventajoso enviar esta frase en lugar de mil dígitos. Si el mensaje fuese absolutamente aleatorio, deberíamos enviar el conjunto de los mil dígitos.

La pregunta no trivial es saber cuánto podemos comprimir un mensaje que no sea absolutamente aleatorio. La respuesta a esta pregunta fue obtenida elegantemente por Shannon. Partimos de que la probabilidad para cada dígito de ser 0 es p_0 i la de ser 1 es p_1=1-p_0. La entropía de Shannon se define como S_SH=-Suma_(i=0,1) (p_i log_2(p_i)). En el primer caso que hemos considerado, p_0=1 y p_1=0, luego la entropía vale cero. No hay sorpresa. En el caso aleatorio, p_0=p_1=1/2. La entropía vale S_SH=1 que es su valor máximo. Shanon demostró que podemos comprimir un mensaje de N bits en tan sólo M=N S_SH. Es un resultado brutal empleado en todo algoritmo de compresión, tanto para las comunicaciones como para el almacenamiento. Por ejemplo, los "zip", "gzip" etcétera se basan en algoritmos de Lempel-Ziv que saturan la cota de Shanon.

El mundo cuántico es más sutil. Podemos pensar en un sistema complejo hecho de muchas partículas y nos preguntamos si el estado está hecho de superposiciones. Para ser más precisos, nos preguntamos si una parte del sistema se "soprende" de tener correlaciones con el resto. La entropía de von Neumann cuantifica este hecho. La construcción és técnica y sólo escribo en paréntesis el resultado (sea un estado |psi> con dos partes AB, construimos su matriz densidad rho, tomamos la traza parcial sobre B para obtener la descripción de la parte A: rho_A=Tr_B(rho), la entropía de von Neumann es S_vN=-Tr(rho_A log_2 rho_A). De esta forma logramos cuantificar las correlaciones cuánticas de un sistema.

Es un tema delicado relacionar esta entropía con la entropía de Bekenstein para un agujero negro. Es tremendamente sutil e incomprendido.

La sorpresa es cuantificable.

Siempre me ha parecido un concepto magnífico.