La terrible verdad sobre Alexa: está hecha para espiarnos.

El debate sobre si Alexa o cualquier asistente de voz nos está espiando tiene muchos años en este momento y no va a desaparecer. Los defensores de la privacidad han presentado una queja ante la Comisión Federal de Comercio (FTC) alegando que estos dispositivos violan la Ley Federal de escuchas telefónicas.

Los periodistas han investigado los peligros de los micrófonos siempre encendidos y los asistentes de voz artificialmente inteligentes.

Los bloggers de tecnología escépticos como yo han argumentado que estas cosas eran más poderosas de lo que la gente se daba cuenta y estaba sobrecargada de violaciones de privacidad . Las noticias recientes sobre cómo los empleados de Amazon revisan ciertos comandos de Alexa sugieren que la situación es peor de lo que pensábamos.

Está empezando a parecer que Alexa y otros asistentes de voz están destinados a espiarnos porque así fue como el sistema fue diseñado para funcionar. Estos sistemas se basan en el aprendizaje automático y la inteligencia artificial para mejorarse con el tiempo.

La nueva tecnología que los sustenta también es actualmente propensa a errores, e incluso si fueran perfectas, las compañías hambrientas de datos que las construyeron están pensando constantemente en nuevas formas de explotar a los usuarios para obtener ganancias. Y donde la tecnología imperfecta y las compañías poderosas chocan, el gobierno tiende a luchar tanto para comprender lo que está pasando, que la regulación parece una solución imposible.

La situación no es del todo grave. Esta tecnología podría ser realmente genial, si prestamos mayor atención a lo que está sucediendo. Lo cual, una vez más, es bastante complicado.

Errores interminables

Un problema fundamental con Alexa u otros asistentes de voz es que la tecnología es propensa a fallar. Los dispositivos como el Echo vienen equipados con micrófonos siempre encendidos que solo deben grabarse cuando usted quiere que escuchen.

Si bien algunos dispositivos requieren presionar un botón físico para atraer a Alexa, muchos están diseñados para comenzar a grabarte después de que hayas dicho la palabra de alerta. Cualquiera que haya pasado algún tiempo usando Alexa sabe que no siempre funciona así. A veces, el software oye un ruido aleatorio, piensa que es la palabra Wake y comienza a grabar.

La medida en que los falsos positivos son un problema se hizo evidente en el momento en que comencé a leer mi historial de comandos de Alexa en el sitio web de Amazon. La mayoría de las entradas son aburridas: “Hola Alexa”, “Muéstrame una receta de tortilla”, “¿Qué hay de nuevo?” Pero rociar entre el dribble mundano también fue una desalentadora serie de mensajes que decían: “Texto no disponible; el audio no estaba destinado para Alexa. “Cada vez que lo veía, lo veía dos veces de nuevo y lo leía en voz alta en mi cabeza:” El audio no estaba destinado a Alexa. “Estas son las cosas que Alexa escuchó que no debería haber oído, los comandos que se han enviado. Se envió a los servidores de Amazon y se envió de vuelta porque la máquina decidió que no se había dicho la palabra de alerta o que Alexa había grabado el audio cuando el usuario no estaba dando una orden. En otras palabras, son errores.

A simple vista, los asistentes de voz que captan el audio perdido son un defecto inevitable en la tecnología. El programa de computadora muy sofisticado que puede entender cualquier cosa que diga se esconde detrás de uno muy simple que ha sido entrenado para escuchar una palabra de alerta y luego enviar los comandos que vienen a la computadora más inteligente.

El problema es que la computadora simple a menudo no funciona bien y la gente no siempre sabe que hay un dispositivo de grabación en la habitación. Así es como conseguimos pesadillas basadas en el eco, como la pareja de Oregón, que involuntariamente envió una grabación de toda una conversación a un conocido. El propio Amazon ha estado trabajando en mejoras para reducir la tasa de error con las palabras de activación, pero es difícil imaginar que el sistema siempre sea impecable.

“Eso es lo que da miedo: hay un micrófono en su casa y usted no tiene control final sobre cuándo se activa”, me dijo el Dr. Jeremy Gillula, director de proyectos de tecnología de la Electronic Frontier Foundation (EFF). “Desde mi perspectiva, eso es problemático desde el punto de vista de la privacidad”.

Este tipo de cosas que suceden es mala suerte, aunque es más común de lo que a la mayoría de las personas les gustaría. Lo que tal vez es peor que las fallas es el flujo de trabajo muy intencional entre bambalinas que revela las interacciones de los usuarios con asistentes de voz a extraños. Bloomberg informó recientemente que un equipo de empleados de Amazon tiene acceso a las coordenadas geográficas de los usuarios de Alexa y que esta información se recopiló para mejorar las habilidades del asistente de voz. Esta revelación se produjo apenas un par de semanas después de que Bloomberg también informara que miles de personas empleadas por Amazon en todo el mundo analizan los comandos de Alexa de los usuarios para entrenar el software. Pueden escuchar situaciones comprometedoras y, en algunos casos, los empleados de Amazon se burlan de lo que dice la gente.

Amazon empujó con fuerza contra estos informes. Un portavoz de la compañía me dijo que Amazon solo anota “un número extremadamente pequeño de interacciones de un conjunto aleatorio de clientes para mejorar la experiencia del cliente”. Estas grabaciones se guardan en un sistema protegido que usa autenticación multifactor para que “una Número ”de empleados cuidadosamente monitoreados pueden obtener acceso. Bloomberg sugiere que el equipo cuenta con miles.

Pero para que Alexa y otros asistentes de voz artificialmente inteligentes trabajen, es necesario algún análisis humano. Esta capacitación podría prevenir futuros errores y conducir a mejores características. Amazon tampoco es la única compañía que usa humanos para revisar los comandos de voz. Google y Apple también emplean equipos de personas para revisar lo que los usuarios dicen a sus asistentes de voz para entrenar el software para comprender mejor a las personas y desarrollar nuevas funciones. Claro, el elemento humano de estos servicios aparentemente basados ​​en computadora es espeluznante, pero también es una parte esencial de cómo se desarrollan estas tecnologías.

“Al final, para casos realmente difíciles, necesita un humano que le cuente lo que estaba pasando”, dijo el Dr. Alex Rudnicky, científico informático de la Universidad Carnegie Mellon, en una entrevista. Rudnicky ha estado desarrollando software de reconocimiento de voz desde la década de 1980 y ha liderado equipos que compiten en el Premio Alexa, un concurso patrocinado por Amazon para la inteligencia artificial conversacional. Mientras sostiene que los humanos son necesarios para mejorar el procesamiento del lenguaje natural, Rudnicky también cree que es increíblemente improbable que un comando de voz se remonte a un individuo.

“Una vez que eres uno de cada 10 millones”, dijo Rudnicky, “es un poco difícil argumentar que alguien lo encontrará y te lo rastreará y descubrirá cosas sobre ti que no quieres que sepan. ”

Sin embargo, esta idea no hace que la idea de que un extraño lea tus pensamientos cotidianos o que conozca tu historial de ubicaciones sea menos espeluznante. Puede que no sea común que un asistente de voz me grabe accidentalmente, pero los sistemas todavía no parecen lo suficientemente inteligentes como para despertarse con una precisión del 100 por ciento. El hecho de que Amazon catalogue y haga disponibles todas las grabaciones de Alexa que captura, de forma accidental o no, me hace sentir muy mal.

El problema de privacidad que nadie quiere arreglar

En conversaciones recientes, media docena de expertos en tecnología y privacidad me dijeron que necesitamos leyes de privacidad más estrictas para abordar algunos de estos problemas con Alexa. La cantidad de sus datos personales que recopila un Eco está sujeta a los términos que establece Amazon , y los Estados Unidos carecen de una legislación federal de privacidad fuerte, como el Reglamento de Protección de Datos General de Europa (GDPR). En otras palabras, las compañías que están construyendo asistentes de voz están más o menos haciendo las reglas.

Así que me encuentro dando vueltas a algunas preguntas. ¿Quién cuida a los usuarios? ¿Por qué no puedo permitir que Amazon grabe mis comandos en lugar de pasar por la configuración de privacidad en busca de formas de dejar de enviar mis datos a Amazon? ¿Y por qué mis opciones para excluirme son limitadas?

En la configuración de privacidad de Alexa, puede optar por no permitir que Amazon use sus grabaciones para desarrollar nuevas funciones y mejorar las transcripciones. No puede optar por no permitir que Amazon retenga sus grabaciones para otros fines.

Configuraciones como estas ponen la responsabilidad en el usuario de proteger su propia privacidad. Si ese es el caso, ¿por qué estas empresas no pueden hacer que mis interacciones con los asistentes de voz sean completamente anónimas?

Apple parece estar tratando de hacer esto. Siempre que hable con Siri, esos comandos se cifran antes de enviarlos a la empresa con un identificador aleatorio de Siri adjunto. Su identificador de Siri no está asociado con su ID de Apple, por lo que no hay forma de que pueda abrir su configuración de privacidad en un iPhone y ver lo que le ha dicho a Siri. Tampoco toda la funcionalidad de Siri requiere que su dispositivo envíe información a los servidores de Apple, por lo que reduce la exposición. Apple utiliza grabaciones de comandos Siri para entrenar el software porque tienes que entrenar software artificialmente inteligente para mejorarlo. El hecho de que Apple no asocie comandos particulares con un usuario en particular podría explicar por qué tanta gente piensa que Siri es terrible.. Por otra parte, Siri podría ser su mejor apuesta para una apariencia de privacidad en un asistente de voz.

Este es el punto en el debate en el que Tim Cook desea recordarle que Apple no es una empresa de datos. Las compañías como Google y Amazon convierten sus datos personales en productos que pueden vender a los anunciantes o usar para venderle más cosas, dijo. Este es el mismo argumento que vimos del CEO de Apple cuando escribió una columna de la revista Time a principios de este año y anunció planes para presionar por una legislación federal de privacidad.

La idea está empezando a conseguir algo de tracción. En enero, la Oficina de Responsabilidad del Gobierno publicó un informe en el que se pedía al Congreso que aprobara una legislación integral sobre privacidad en Internet. Este informe se unió a un coro de defensores de la privacidad que durante mucho tiempo argumentaron que Estados Unidos necesita su propia versión de GDPR. En marzo, el Comité Judicial del Senado escuchó el testimonio de varias personas que presionaron por la legislación federal de privacidad. Sin embargo, no está claro si el Congreso actuará sobre esta idea o no.

“La tecnología del habla se ha vuelto tan buena, es importante preocuparse por la privacidad”, dijo la Dra. Mari Ostendorf, profesora de ingeniería eléctrica y experta en tecnología del habla en la Universidad de Washington. “Y creo que probablemente las empresas estén más preocupadas por eso que el gobierno de los Estados Unidos”.

Uno esperaría que Amazon al menos esté reconsiderando su enfoque de la privacidad y los asistentes de voz. Porque en este momento, parece que el público en general solo está desentrañando las innumerables formas en que los dispositivos como el Eco están grabando nuestras vidas sin nuestro permiso o compartiendo nuestros datos personales con extraños. La controversia más reciente sobre Alexa simplemente rasca la superficie de cómo un mundo lleno de micrófonos siempre encendidos es una pesadilla de privacidad absoluta.

El problema es que las empresas como estas con modelos de negocio basados ​​en datos tienen todos los incentivos para recopilar la mayor cantidad de información posible sobre sus usuarios. Cada vez que usa Alexa, por ejemplo, Amazon obtiene una visión más nítida de sus intereses y comportamiento. Cuando pedí detalles sobre cómo Amazon utiliza estos datos, la compañía me dio un ejemplo extraño.

“Si un cliente usa Alexa para realizar una compra o interactuar con otros servicios de Amazon, como Amazon Music”, dijo un portavoz de Amazon, “podemos usar el hecho de que el cliente tomó esa acción de la misma manera que lo haríamos si el cliente tomara eso. acción a través de nuestro sitio web o una de nuestras aplicaciones, por ejemplo, para proporcionar recomendaciones de productos “.

Hay evidencia de que este tipo de recomendaciones podrían volverse más sofisticadas en el futuro. Amazon tiene una tecnología patentada que puede interpretar sus emociones según el tono y el volumen de su voz. De acuerdo con la patente, esta versión hipotética de una tecnología similar a Alexa podría indicar si está contento o triste y ofrecer “contenido de audio altamente específico, como anuncios de audio o promociones”. Se podría argumentar que lo único que impide a Amazon la liberación de un anuncio apoyado por Alexa es el potencial de retroceso del público que posee Echo. El gobierno probablemente no lo va a detener.

El futuro aterrador

Un futuro sin más supervisión podría ser muy rápido para Philip K. Dickian. Recientemente hablé con el Dr. Norman Sadeh, profesor de informática en Carnegie Mellon, quien pintó una imagen sombría de cómo podría verse un futuro sin una mejor regulación de la privacidad.

“Al final del día, todos estos altavoces se conectan a una sola entidad”, explicó Sadeh. “Así que Amazon podría usar el reconocimiento de voz para identificarlo y, como resultado, podría crear perfiles extremadamente extensos sobre quién es usted, qué hace, cuáles son sus hábitos, todo tipo de otros atributos que no necesariamente querría revelar. a ellos “.

Él sugiere que Amazon podría hacer un negocio de esto, sabiendo quién eres y qué te gusta por el mero sonido de tu voz. Y a diferencia de las nociones más distópicas de lo que el reconocimiento facial podría habilitar, el reconocimiento de voz podría funcionar sin verte nunca. Podría funcionar sobre líneas telefónicas. En un futuro en el que los micrófonos conectados a Internet están presentes en un número cada vez mayor de salas, un sistema como este siempre podría estar escuchando. Varios de los investigadores con los que hablé mencionaron esta idea distópica y lamentaron su inminente llegada.

Tal sistema es hipotético hasta ahora, pero si lo piensas, todas las piezas están en su lugar. Hay decenas de millones de dispositivos llenos de micrófonos siempre encendidos en todo el país, tanto en hogares como en lugares públicos. Se les permite escuchar y grabar lo que decimos en ciertos momentos. Estas máquinas artificialmente inteligentes también son propensas a errores y solo mejorarán escuchándonos más, a veces permitiendo que los humanos corrijan su comportamiento. Sin ningún tipo de supervisión gubernamental, quién sabe cómo evolucionará el sistema desde aquí.

Queríamos un futuro más brillante que este, ¿no? Hablar con tu computadora parecía algo realmente genial en los años 90, y definitivamente era una parte importante del estilo de vida de los Jetsons. Pero hasta ahora, parece una verdad inevitable que Alexa y otros asistentes de voz están obligados a espiarnos, nos guste o no. En cierto modo, la tecnología está diseñada de tal manera que no se puede evitar, y en el futuro, sin supervisión, probablemente empeorará.

Tal vez sea una tontería pensar que Amazon y las otras compañías que están construyendo asistentes de voz en realidad están preocupadas por la privacidad. Tal vez están trabajando para solucionar los problemas causados ​​por la tecnología propensa a errores, y quizás están trabajando para abordar la ansiedad que sienten las personas cuando ven que los dispositivos como el Echo los están grabando, a veces sin que los usuarios se den cuenta. Diablos, tal vez el Congreso esté trabajando en leyes que harían responsables a estas compañías.

Inevitablemente, el futuro de las computadoras impulsadas por voz no tiene por qué ser tan distópico. Hablar con nuestros dispositivos cambiaría la forma en que interactuamos con la tecnología de la manera más profunda, si todos estuvieran de acuerdo con cómo se estaba haciendo. En este momento, ese no parece ser el caso. E, irónicamente, cuantas menos personas tengamos para ayudar a desarrollar tecnología como Alexa, peor será para ella.