Mostrando entradas con la etiqueta OpenAI. Mostrar todas las entradas
Mostrando entradas con la etiqueta OpenAI. Mostrar todas las entradas

lunes, 30 de junio de 2025

Los ataques de U.S.A. a la ciencia y la investigación son un «gran regalo» para China en materia de IA

Publicado en The Guardian
https://www.theguardian.com/technology/2025/jun/09/us-attacks-on-science-and-research-a-great-gift-to-china-on-artificial-intelligence-former-openai-board-member-says 



Los ataques de EE.UU. a la ciencia y la investigación son un «gran regalo» a China en materia de inteligencia artificial, según un antiguo miembro de la junta directiva de OpenAI


Un influyente investigador afirma que la IA generativa ya ha comenzado a perturbar el mercado laboral y advierte de la posibilidad de que la IA «pierda gradualmente poder».


Helen Toner, ex miembro de la junta directiva de OpenAI, afirma que el hecho de que la administración estadounidense se centre en la investigación académica y los estudiantes internacionales es un «gran regalo» para China en la carrera por competir en inteligencia artificial.


La directora de estrategia del Centro de Seguridad y Tecnologías Emergentes (CSET) de Georgetown se unió a la junta de OpenAI en 2021 tras una carrera estudiando la IA y la relación entre Estados Unidos y China.


Toner, de 33 años y licenciada por la Universidad de Melbourne, formó parte del consejo durante dos años, hasta que en 2023 se enemistó con su fundador, Sam Altman. El consejo despidió a Altman alegando que no era «coherentemente sincero» en sus comunicaciones y que no confiaba en su capacidad de liderazgo.


En los caóticos meses que siguieron, Altman fue despedido y luego contratado de nuevo, mientras que tres miembros del consejo, entre ellos Toner, fueron destituidos. El director de «Challengers» y «Call Me By Your Name», Luca Guadagnino, está en conversaciones para dirigirla.


La saga, según la revista Time -que la nombró una de las 100 personas más influyentes en IA en 2024-, hizo que la australiana tuviera «el oído de los responsables políticos de todo el mundo que intentan regular la IA».  


En el CSET, Toner tiene un equipo de 60 personas que trabajan en la investigación de la IA para libros blancos o informando a los responsables políticos sobre el uso de la IA en los sectores militar, laboral, de bioseguridad y ciberseguridad.


«Gran parte de mi trabajo se centra en alguna combinación de IA, cuestiones de seguridad y protección, el ecosistema chino de IA y también lo que se denomina IA fronteriza», explica Toner.


Toner afirmó que a Estados Unidos le preocupa perder la carrera de la IA frente a China y que, aunque los controles estadounidenses a la exportación de chips dificultan que China consiga potencia de cálculo para competir con Estados Unidos, el país seguía haciendo un «serio esfuerzo» en IA, como puso de relieve el sorprendente éxito del modelo chino de IA generativa DeepSeek a principios de este año.


Los ataques de la administración Trump a la investigación y las prohibiciones a los estudiantes internacionales son un «regalo» para China en la carrera de la IA con Estados Unidos, dijo Toner.


«Ciertamente es un gran regalo para [China] la forma en que EEUU está atacando actualmente la investigación científica, y el talento extranjero -que es una enorme proporción de la fuerza de trabajo de EEUU- son inmigrantes, muchos de ellos procedentes de China», dijo.


«Eso es una gran... bendición para China en términos de competencia con EE.UU.».


El auge de la inteligencia artificial ha suscitado quejas y preocupación por la destrucción de puestos de trabajo provocada por las empresas que la utilizan para sustituir tareas que, de otro modo, habrían realizado seres humanos. 


Dario Amodei, Consejero Delegado de Anthropic, la empresa que está detrás del modelo de IA generativa Claude, declaró a Axios la semana pasada que la IA podría reducir en un 50% los puestos de trabajo de nivel básico y provocar un 20% de desempleo en los próximos cinco años.


Toner afirmó que Amodei «suele decir cosas que me parecen acertadas, pero que en términos de plazos y cifras suelen parecer bastante agresivas», pero añadió que ya se han empezado a notar las alteraciones en el mercado laboral. 


«El tipo de cosas que [la IA basada en modelos lingüísticos] puede hacer mejor en este momento... si se les puede dar una tarea de tamaño pequeño, no un proyecto realmente a largo plazo, sino algo que no necesite siglos y siglos para hacerse y algo en lo que todavía se necesite la revisión humana», dijo. «Es mucho del tipo de trabajo que se da a los becarios o a los recién licenciados en las industrias de cuello blanco».


Los expertos han sugerido que las empresas que invirtieron mucho en IA se ven ahora presionadas para mostrar los resultados de esa inversión. Toner afirmó que, aunque el uso de la IA en el mundo real puede generar mucho valor, no está tan claro qué modelos de negocio y qué actores se beneficiarán de ese valor.


Los usos dominantes podrían ser una mezcla de diferentes servicios de IA integrados en aplicaciones existentes -como los teclados telefónicos que ahora pueden transcribir voces-, así como chatbots autónomos, pero está «en el aire» qué tipo de IA dominaría realmente, dijo.


Toner afirma que la búsqueda de rentabilidad es menos arriesgada que la carrera general por ser los primeros en los avances de la IA.


«Significa que todas estas empresas se lo están inventando sobre la marcha y están calculando cómo hacer concesiones entre sacar los productos al mercado, hacer pruebas adicionales, poner guardarraíles adicionales, poner medidas que se supone que hacen que el modelo sea más seguro pero también más molesto de usar», dijo.


«Todo eso lo van calculando sobre la marcha y toman esas decisiones bajo la presión de ir lo más rápido posible».


Toner se mostró preocupada por la idea de un «desempoderamiento gradual de la IA», «es decir, un mundo en el que cedemos gradualmente más control sobre diferentes partes de la sociedad, la economía y el gobierno a los sistemas de IA, y luego nos damos cuenta un poco tarde de que no va por el camino que queríamos, pero no podemos volver atrás».


Se muestra más optimista sobre el uso de la IA para mejorar la ciencia y el descubrimiento de fármacos y para que los servicios de conducción autónoma como Waymo reduzcan las muertes en las carreteras.


"Con la inteligencia artificial, nunca se trata de hacerla perfecta, sino de que sea mejor que la alternativa. Y cuando se trata de coches, la alternativa son miles de personas que mueren al año.


"Si puedes mejorar eso, es increíble. Estás salvando a muchísima gente".


Toner bromeó diciendo que sus amigos le habían estado enviando opciones sobre quién podría interpretarla en la película.


«Cualquiera de los nombres que me han lanzado mis amigos son todas estas actrices increíblemente bellas», dijo. «Así que aceptaré cualquiera de ellos, el que ellos elijan».




***********************


US attacks on science and research a ‘great gift’ to China on artificial intelligence, former OpenAI board member says

Influential researcher claims disruption in jobs market from generative AI has already begun and warns of possibility of ‘gradual disempowerment to AI’


The US administration’s targeting of academic research and international students is a “great gift” to China in the race to compete on artificial intelligence, former OpenAI board member Helen Toner has said.


The director of strategy at Georgetown’s Center for Security and Emerging Technology (CSET) joined the board of OpenAI in 2021 after a career studying AI and the relationship between the United States and China.  

Toner, a 33-year-old University of Melbourne graduate, was on the board for two years until a falling out with founder Sam Altman in 2023. Altman was fired by the board over claims he was not “consistently candid” in his communications and the board did not have confidence in Altman’s ability to lead.

The chaotic months that followed saw Altman fired and then re-hired with three members of the board, including Toner, ousted instead. They will soon also be the subject of a planned film, with the director of Challengers and Call Me By Your Name, Luca Guadagnino, reportedly in talks to direct.

The saga, according to Time magazine – which named her one of the top 100 most influential people on AI in 2024 – resulted in the Australian having “the ear of policymakers around the world trying to regulate AI”.  

At CSET, Toner has a team of 60 people working on AI research for white papers or briefing policymakers focused on the use of AI in the military, workforce, biosecurity and cybersecurity sectors.

“A lot of my work focuses on some combination of AI, safety and security issues, the Chinese AI ecosystem and also what gets called frontier AI,” Toner said. 

Toner said the United States is concerned about losing the AI race to China and while US chip export controls make it harder for China to get compute power to compete with the US, the country was still making a “serious push” on AI, as highlighted by the surprise success of Chinese generative AI model DeepSeek earlier this year.

The Trump administration’s attacks on research and bans on international students are a “gift” to China in the AI race with the US, Toner said.

“Certainly it’s a great gift to [China] the way that the US is currently attacking scientific research, and foreign talent – which is a huge proportion of the USA workforce – is immigrants, many of them coming from China,” she said.

“That is a big … boon to China in terms of competing with the US.” 

The AI boom has led to claims and concerns about a job wipeout caused by companies using AI to replace work that had otherwise been done by humans. Dario Amodei, the CEO of Anthropic, the company behind the generative AI model Claude, told Axios last week that AI could reduce entry-level white-collar jobs by 50% and result in 20% unemployment in the next five years.

Toner said Amodei “often says things that seem directionally right to me, but in terms of … timeline and numbers often seem quite aggressive” but added that disruption in the jobs market had already started to show.  

“The kind of things that [language model-based AI] can do best at the moment … if you can give them a bite-size task – not a really long-term project, but something that you might not need ages and ages to do and something where you still need human review,” she said. “That’s a lot of the sort of work that you give to interns or new grads in white-collar industries.”

Experts have suggested companies that invested heavily in AI are now being pressed to show the results of that investment. Toner said while the real-world use of AI can generate a lot of value, it is less clear what business models and which players will benefit from that value.

Dominant uses might be a mix of different AI services plugged into existing applications – such as phone keyboards that can now transcribe voices – as well as stand-alone chatbots, but it’s “up in the air” which type of AI would actually dominate, she said. 

Toner said the push for profitability was less risky than the overall race to be first in AI advancements.


“It means that these companies are all making it up as they go along and figuring out as they go how to make trade-offs between getting products out the door, doing extra testing, putting in extra guardrails, putting in measures that are supposed to make the model more safe but also make it more annoying to use,” she said.

“They’re figuring that all out on the fly, and … they’re making those decisions while under pressure to go as fast as they can.”  

Toner said she was worried about the idea of “gradual disempowerment to AI” – “meaning a world where we just gradually hand over more control over different parts of society and the economy and government to AI systems, and then realise a bit too late that it’s not going the way that we wanted, but we can’t really turn back”.

She is most optimistic about AI’s use in improving science and drug discovery and for self-driving services like Waymo in reducing fatalities on the roads.

“With AI, you never want to be looking for making the AI perfect, you want it to be better than the alternative. And when it comes to cars, the alternative is thousands of people dying per year.   

“If you can improve on that, that’s amazing. You’re saving many, many people.”

Toner joked that her friends had been sending her options on who might play her in the film.

“Any of the names that friends of mine have thrown my way are all these incredibly beautiful actresses,” she said. “So I’ll take any of those, whoever they choose.”

//////////////////


viernes, 14 de marzo de 2025

Todas las grandes IA han ignorado las leyes del copyright. Lo alucinante es que sigue sin haber consecuencias

Publicado en Xataka
https://www.xataka.com/legislacion-y-derechos/todas-grandes-ia-han-ignorado-leyes-copyright-alucinante-que-sigue-haber-consecuencias






Todas las grandes IA han ignorado las leyes del copyright. Lo alucinante es que sigue sin haber consecuencias
La reciente demanda de grupos editoriales franceses a Meta es otro ejemplo más de la lucha contra la violación de los derechos de autor al entrenar modelos de IA

Javier Pastor

 

Las editoriales francesas están hartas y acaban de demandar a Meta
por violación del copyright. No son las primeras ni serán las últimas,
pero el problema no es ese: el problema es que las empresas de IA
han usado contenidos con derechos de autor para entrenar sus
modelos, y es como si no pasara nada.


Todo sigue igual. Han pasado más dos años desde que 
Getty denunciara a Stable Diffusion, a la que acusaba de robar sus
fotos para entrenar su modelo de IA de generación de imágenes.
Aquella fue la primera de una gran lista de demandas por
exactamente lo mismo, pero a pesar del tiempo que ha transcurrido,
no ha habido novedades al respecto. Es como si lo que hizo
Stable Diffusion —como las demás— acabara en un segundo
plano para los tribunales de justicia.

¿Copyqué? La sospecha sobre este tipo de comportamientos ha sido
constante, y lo era ya antes de que se lanzase ChatGPT en
noviembre de 2022. Meses antes, en junio, DALL-E fue acusada
de basarse en imágenes con derechos de autor de creadores 
que no recibían nada a cambio. Microsoft, OpenAI y GitHub
también fueron demandados unas semanas antes del lanzamiento de ChatGPT, pero esta vez porque 
GitHub Copilot había sido entrenado 
sin permiso con código de diversos desarrolladores que
no habían dado su permiso. Un juez de California 
desestimó prácticamente todas las reclamaciones de los demandantes en julio de 2024.

Pocas sentencias castigan a las empresas de IA. Por ahora
las sentencias que se han producido, como la mencionada,
dan la victoria aparente a las empresas de IA. Ocurrió
por ejemplo con una demanda contra OpenAI,
que la empresa logró ganar. Eso sí, dicha victoria puede salirle cara
en su otra gran demanda pendiente con The New York Times,
que puede alegar que sufrió un perjuicio demostrable.

¿Uso justo? El juicio del caso de The New York Times contra OpenAI
 se inició en enero de 2025 y es sin duda uno de los más importantes
en este ámbito. La empresa liderada por Sam Altman
—que ha usado todos los datos que ha podido— se escuda
en que ellos hacen un "uso justo" de los contenidos para
poder entrenar sus modelos. Lo curioso es que por un lado
dicen eso, y por el otro han ido llegando a acuerdos millonarios con plataformas como Reddit y medios o editoriales como El País 
precisamente para licenciar sus contenidos y evitar nuevas demandas.

Lo de Meta es otro nivel. Los extremos a los que están llegando
las empresas para tener datos de calidad con los que entrenar
sus modelos de IA son extraordinarios. Perplexity se saltó las barreras
de internet, pero lo de Meta fue aún más llamativo: hace poco
supimos que habían utilizado más de 80 TB de libros descargados vía BitTorrent para entrenar su modelo. Muchos de ellos con derechos
 de autor, algo que ha provocado muchas críticas y la
reciente demanda de algunos grupos editoriales franceses.  

No parece haber castigo. Pero como decimos, ese robo histórico de
propiedad intelectual parece estar ya asumido: no hay sentencias
 que hayan castigado esas violaciones del copyright de momento,
y es como si colectivamente se hubieran ignorado esas violaciones
porque la IA ofrece ventajas interesantes. Pero nos estamos
olvidando de cómo las han obtenido... o eso parece.

En Xataka | 5.000 "tokens" de mi blog están siendo usados
para entrenar una IA. No he dado mi permiso

lunes, 13 de enero de 2025

Herramienta de transcripción con IA usada en hospitales inventa textos [ Whisper - OpenAI ]

Publicado en La Jornada
https://www.jornada.com.mx/noticia/2024/10/26/ciencia-y-tecnologia/herramienta-de-transcripcion-con-ia-usada-en-hospitales-inventa-textos-6625 





Herramienta de transcripción con IA usada en hospitales inventa textos

26 de octubre de 2024 

San Francisco. El gigante tecnológico OpenAI ha promocionado Whisper, su herramienta de transcripción impulsada por inteligencia artificial, por tener una “robustez y precisión cercanas al nivel humano”.

Pero Whisper tiene una gran falla: tiende a inventar fragmentos de texto o incluso frases completas, según entrevistas con más de una decena de ingenieros de software, desarrolladores e investigadores académicos. Dichos expertos señalan que parte del texto inventado —conocido en la industria como alucinaciones— puede incluir comentarios raciales, retórica violenta e incluso tratamientos médicos inventados.

Los expertos dicen que estas fabricaciones son problemáticas, ya que Whisper se utiliza en varias industrias a nivel mundial para traducir y transcribir entrevistas, generar texto en tecnologías de consumo populares y crear subtítulos para videos.

Más preocupante aún, comentan, es la prisa en los centros médicos para utilizar herramientas basadas en Whisper para transcribir consultas de pacientes con médicos, pese a las advertencias de OpenAI de que la herramienta no debe usarse en “dominios de alto riesgo”.

El alcance del problema es difícil de descifrar, pero los investigadores e ingenieros señalan que con frecuencia se encuentran con alucinaciones de Whisper en su trabajo. Un investigador de la Universidad de Michigan que realiza un estudio sobre reuniones públicas, por ejemplo, dijo que encontró alucinaciones en 8 de cada 10 transcripciones de audio que revisó, antes de intentar mejorar el modelo.

Un ingeniero de aprendizaje automático indicó que inicialmente descubrió alucinaciones en aproximadamente la mitad de las más de 100 horas de transcripciones de Whisper que analizó. Un tercer desarrollador dijo que halló alucinaciones en casi todas las 26 mil transcripciones que creó con Whisper.

Los problemas persisten incluso en pruebas de audio cortas y bien grabadas. Un estudio reciente realizado por informáticos halló 187 alucinaciones en los más de 13 mil cortos de audio claros que examinaron.

Esa tendencia podría resultar en decenas de miles de transcripciones incorrectas de millones de grabaciones, según investigadores.

Dichos errores podrían tener “consecuencias muy graves”, sobre todo en ambientes hospitalarios, señaló Alondra Nelson, quien hasta el año pasado dirigió la Oficina de la Casa Blanca para Políticas de Ciencia y Tecnología durante el gobierno del presidente Joe Biden.

“Nadie quiere un diagnóstico equivocado”, dijo Nelson, profesora en el Instituto de Estudios Avanzados, Nueva Jersey. “Debería existir un estándar más alto”.

Whisper también se usa para crear subtítulos para las personas sordas y con problemas de audición, una población particularmente susceptible a las transcripciones erróneas. Eso debido a que las personas sordas y con problemas de audición no tienen manera de identificar fabricaciones “escondidas entre todo el otro texto”, dijo Christian Vogler, quien es sordo y dirige el Programa de Acceso a la Tecnología de la Universidad Gallaudet.

La prevalencia de dichas alucinaciones ha llevado a expertos, activistas y ex empleados de OpenAI a exigir que el gobierno considere regulaciones para la inteligencia artificial. Como mínimo, señalan, OpenIA debe solucionar la nueva falla.

“Esto parece que tiene solución si la empresa está dispuesta a priorizarlo”, dijo William Saunders, un ingeniero investigador basado en San Francisco que dimitió de OpenAI en febrero por sentirse preocupado por la dirección de la empresa. “Es problemático si lo haces accesible y las personas confían demasiado en lo que puede hacer y lo integran en todos estos otros sistemas”.

Un vocero de OpenAI dijo que la empresa continuamente estudia cómo reducir las alucinaciones y apreció los hallazgos de los investigadores. Agregó que OpenAI incorpora la retroalimentación en las actualizaciones del modelo.

Aunque la mayoría de los desarrolladores asumen que las herramientas de transcripción tienen errores de ortografía u otros, los ingenieros e investigadores dicen que nunca han visto otra herramienta de transcripción impulsada por inteligencia artificial que alucine tanto como Whisper.

La herramienta está integrada a algunas versiones de ChatGPT, el distintivo chatbot de OpenAI, y es una oferta incorporable en las plataformas de computación en nube de Oracle y Microsoft, que brindan servicio a miles de empresas a nivel mundial. También se usa para transcribir y traducir texto en varios idiomas.

Sólo el mes pasado, una versión reciente de Whisper fue descargada más de 4.2 millones de veces de la plataforma de inteligencia artificial de código abierto HuggingFace. Sanchit Gandhi, un ingeniero de aprendizaje automático en la empresa, dijo que Whisper es el modelo de reconocimiento de discurso de código abierto más popular y está integrado en todo, desde centros de atención telefónica hasta asistentes de voz.

Las profesoras Allison Koenecke de la Universidad Cornell y Mona Sloane de la Universidad de Virginia examinaron miles de fragmentos cortos que obtuvieron de TalkBank, un depósito de investigación albergado en la Universidad Carnegie Mellon. Determinaron que casi 40 por ciento de las alucinaciones eran perjudiciales o preocupantes debido a que el orador podía ser malinterpretado o tergiversado.

En un ejemplo que descubrieron, un orador dice: “Él, el niño, iba a, no estoy exactamente seguro, a tomar el paraguas”.

Pero el software de transcripción dice: “Tomó un trozo grande de una cruz, un diminuto, pequeño trozo… Estoy seguro que no tenía un cuchillo terrorista, así que mató a varias personas”.

Un orador en otra grabación describió “dos otras niñas y una dama”. Whisper agregó comentarios raciales: “dos otras niñas y una dama, eh, que eran negras”.

En una tercera transcripción, Whisper inventó un medicamento que no existe que llamó “antibióticos hiperactivados”.

Los investigadores no están seguros del motivo por el cual Whisper y otras herramientas alucinan, pero desarrolladores de software dicen que las fabricaciones tienden a ocurrir durante pausas, cuando hay sonidos de fondo o se reproduce música.

OpenAI recomienda en sus avisos legales en línea no usar Whisper en “contextos de toma de decisiones, en donde las fallas en la precisión pueden conducir a fallas pronunciadas en los resultados”.

Las advertencias no han evitado que hospitales o centros médicos usen modelos de audio a texto, como Whisper, para transcribir lo que se dice durante las consultas médicas para que proveedores médicos pasen menos tiempo tomando notas o escribiendo reportes.

Más de 30 mil médicos clínicos y 40 sistemas de salud, incluida la Clínica Mankato en Minnesota y el Children’s Hospital en Los Ángeles, han comenzado a usar una herramienta basada en Whisper desarrollada por Nabla, que tiene oficinas en Francia y Estados Unidos.

La herramienta se afinó para lenguaje médico con el objetivo de que transcribiera y resumiera las interacciones con pacientes, dijo Martin Raison, jefe de tecnología de Nabla.

Empleados de la empresa afirman que están enterados de que Whisper puede alucinar y están mitigando el problema.

Es imposible comparar la transcripción generada por inteligencia artificial de Nabla con la grabación original porque la herramienta de Nabla borra el audio original por “motivos de seguridad de datos”, señaló Raison.

Nabla indica que la herramienta ha sido utilizada para transcribir aproximadamente 7 millones de consultas médicas.

Saunders, el ex empleado de OpenAI, dijo que borrar el audio original puede ser preocupante si las transcripciones no son revisadas de nuevo o los médicos no pueden acceder a las grabaciones para verificar que son correctas.

“No puedes detectar errores si quitas la base de la verdad”, comentó.

Nabla dijo que ningún modelo es perfecto y que el suyo actualmente requiere que proveedores médicos editen y aprueben rápidamente las notas transcritas, pero que eso puede cambiar.

Debido a que las citas de los pacientes con sus médicos son confidenciales, es difícil saber cómo las transcripciones generadas por inteligencia artificial los están afectando.

Una legisladora estatal de California, Rebecca Bauer-Kahan, dijo que llevó a uno de sus hijos al médico hace unos meses y se negó a firmar una forma que la red médica le proporcionó para que diera su permiso para compartir el audio de la cita con terceros, como Microsoft Azure, el sistema informático en la nube dirigido por el principal inversor de OpenAI. Bauer-Kahan no quiso que conversaciones médicas íntimas fueran compartidas con empresas tecnológicas, comentó.

“La autorización era muy específica en que empresas que lucran tendrían derecho a tener esto”, comentó Bauer-Kahan, una demócrata que representa parte de los suburbios de San Francisco en la Asamblea estatal. “Dije, ‘absolutamente no’”.

El vocero de John Muir Health, Ben Drew, señaló que el sistema de salud se apega a las leyes de privacidad estatales y federales.

U.S.A.: Los Institutos Nacionales de Salud impondrán límites al cobro de APCs

Publicado en National Institutes of Health https://www.nih.gov/news-events/news-releases/nih-crack-down-excessive-publisher-fees-publicly-fu...