Publicado en Wired
https://www.wired.com/story/making-science-more-open-good-research-bad-security/
Hacer la ciencia más abierta es bueno para la investigación, pero malo para la seguridad
El movimiento de la ciencia abierta aboga por hacer que el conocimiento científico sea rápidamente accesible para todos. Pero un nuevo artículo advierte que la rapidez puede tener un coste.
DURANTE DÉCADAS, el conocimiento científico ha estado firmemente encerrado tras la cerradura y la llave de los muros de pago de las revistas, que resultan tremendamente caros. Sin embargo, en los últimos años se ha producido un cambio de tendencia contra las rígidas y anticuadas barreras de la publicación académica tradicional. El movimiento de la ciencia abierta ha cobrado impulso para hacer que la ciencia sea accesible y transparente para todos.
Cada vez son más las revistas que publican investigaciones que pueden ser leídas por cualquiera, y los científicos comparten sus datos entre sí. El movimiento de la ciencia abierta también ha supuesto el auge de los servidores de preprint: repositorios en los que los científicos pueden publicar sus manuscritos antes de que pasen por una rigurosa revisión por parte de otros investigadores y se publiquen en las revistas. Los científicos ya no tienen que pasar por el proceso de revisión por pares antes de que su investigación esté ampliamente disponible: Pueden enviar un artículo a bioRxiv y publicarlo en línea al día siguiente.
Sin embargo, un nuevo artículo publicado en la revista PLoS Biology sostiene que, aunque el movimiento de la ciencia abierta es en general positivo, no está exento de riesgos.
Aunque la velocidad de la publicación en acceso abierto significa que la investigación importante se publica más rápidamente, también significa que los controles necesarios para garantizar que la ciencia considerada como arriesgada no se está lanzando en línea son menos meticulosos. En particular, el campo de la biología sintética -que implica la ingeniería de nuevos organismos o la reingeniería de organismos existentes para que tengan nuevas habilidades- se enfrenta a lo que se denomina un dilema de doble uso: aunque la investigación que se publica rápidamente puede utilizarse para el bien de la sociedad, también podría ser cooptada por actores malintencionados para llevar a cabo la guerra biológica o el bioterrorismo. También podría aumentar la posibilidad de una liberación accidental de un patógeno peligroso si, por ejemplo, alguien sin experiencia pudiera hacerse fácilmente con una guía de cómo diseñar un virus. "Existe el riesgo de que se compartan cosas malas", afirma James Smith, coautor del artículo e investigador de la Universidad de Oxford. "Y en realidad no hay procesos en marcha en este momento para abordarlo".
Aunque el riesgo de la investigación de doble uso es un problema antiguo, "la ciencia abierta plantea retos nuevos y diferentes", afirma Gigi Gronvall, experta en bioseguridad e investigadora principal del Centro Johns Hopkins para la Seguridad Sanitaria. "Estos riesgos siempre han estado ahí, pero con los avances tecnológicos se magnifican".
Para ser claros, esto todavía no ha ocurrido. Ningún virus peligroso u otro patógeno se ha replicado o creado a partir de las instrucciones de un preprint. Pero dado que las consecuencias potenciales de que esto ocurra son tan catastróficas -como el desencadenamiento de otra pandemia-, los autores del artículo sostienen que no merece la pena asumir ni siquiera un pequeño aumento del riesgo. Y el momento de reflexionar profundamente sobre estos riesgos es ahora.
Durante la pandemia, la necesidad de los servidores de preprint se puso de manifiesto: las investigaciones cruciales pudieron difundirse mucho más rápidamente que la tradicionalmente lenta vía de las revistas. Pero eso también significa que "ahora hay más gente que nunca que sabe cómo sintetizar virus en los laboratorios", afirma Jonas Sandbrink, investigador de bioseguridad del Instituto del Futuro de la Humanidad de la Universidad de Oxford y otro coautor del artículo.
Por supuesto, el hecho de que la investigación se publique en una revista en lugar de en un servidor de preprints no significa que esté intrínsecamente libre de riesgos. Pero sí significa que es más probable que cualquier peligro evidente sea detectado en el proceso de revisión. "La diferencia clave, en realidad, entre las revistas y el servidor de preprint es el nivel de profundidad de la revisión, y el proceso de publicación de la revista puede ser más propenso a identificar los riesgos", dice Smith.
Los riesgos de la publicación abierta no se limitan a la investigación biológica. En el campo de la IA, un movimiento similar hacia el intercambio abierto de código y datos significa que hay un potencial de mal uso. En noviembre de 2019, OpenAI anunció que no publicaría abiertamente en su totalidad su nuevo modelo de lenguaje GPT-2, que puede generar texto y responder preguntas de forma independiente, por temor a "aplicaciones maliciosas de la tecnología", es decir, su potencial para difundir noticias falsas y desinformación. En su lugar, OpenAI publicaría una versión mucho más reducida del modelo para que los investigadores pudieran probarlo, una decisión que suscitó críticas en su momento. (Su sucesor, el GPT-3, publicado en 2020, resultó ser capaz de escribir pornografía infantil.
Dos de los mayores servidores de preimpresión, medRxiv, fundado en 2019 para publicar investigaciones médicas, y bioRxiv, fundado en 2013 para investigaciones biológicas, declaran públicamente en sus sitios web que comprueban que no se publique en ellos "investigación de doble uso preocupante". "Todos los manuscritos se examinan en el momento de su presentación para comprobar si hay plagio, contenido no científico, tipos de artículos inapropiados y material que pueda poner en peligro la salud de pacientes individuales o del público", se lee en una declaración de medRxiv. "Esto último puede incluir, pero no se limita a, estudios que describan investigaciones de doble uso y trabajos que desafíen o puedan comprometer las medidas de salud pública aceptadas y los consejos relativos a la transmisión de enfermedades infecciosas, la inmunización y la terapia".
Desde el inicio de bioRxiv, los riesgos de bioseguridad fueron siempre una preocupación, dice Richard Sever, uno de los cofundadores de bioRxiv y director adjunto de Cold Spring Harbor Laboratory Press. (Sever fue uno de los revisores del artículo de Smith y Sandbrink). Bromea diciendo que en los primeros días de arXiv, un servidor de preprints para las ciencias físicas lanzado en 1991, había preocupaciones por las armas nucleares; con bioRxiv hoy las preocupaciones son por las armas biológicas.
Sever calcula que bioRxiv y medRxiv reciben unos 200 envíos al día, y cada uno de ellos es examinado por más de un par de ojos. Reciben "un montón de basura" que se descarta de inmediato, pero el resto de las propuestas pasan a un grupo para ser examinadas por científicos en activo. Si alguien en ese proceso de selección inicial señala un artículo que puede plantear problemas, se pasa a la cadena para que lo considere el equipo de gestión antes de que se tome una decisión final. "Siempre intentamos pecar de precavidos", dice Sever. Hasta ahora no se ha publicado nada que haya resultado peligroso, considera.
Dos de los mayores servidores de preprints, medRxiv, fundado en 2019 para publicar investigaciones médicas, y bioRxiv, fundado en 2013 para investigaciones biológicas, declaran públicamente en sus sitios web que comprueban que no se publique en ellos "investigación de doble uso preocupante". "Todos los manuscritos se examinan en el momento de su presentación para comprobar si hay plagio, contenido no científico, tipos de artículos inapropiados y material que pueda poner en peligro la salud de pacientes individuales o del público", se lee en una declaración de medRxiv. "Esto último puede incluir, pero no se limita a, estudios que describan investigaciones de doble uso y trabajos que desafíen o puedan comprometer las medidas de salud pública aceptadas y los consejos relativos a la transmisión de enfermedades infecciosas, la inmunización y la terapia".
Desde el inicio de bioRxiv, los riesgos de bioseguridad fueron siempre una preocupación, dice Richard Sever, uno de los cofundadores de bioRxiv y director adjunto de Cold Spring Harbor Laboratory Press. (Sever fue uno de los revisores del artículo de Smith y Sandbrink). Bromea diciendo que en los primeros días de arXiv, un servidor de preimpresión para las ciencias físicas lanzado en 1991, había preocupaciones por las armas nucleares; con bioRxiv hoy las preocupaciones son por las armas biológicas.
Sever calcula que bioRxiv y medRxiv reciben unos 200 envíos al día, y cada uno de ellos es examinado por más de un par de ojos. Reciben "un montón de basura" que se descarta de inmediato, pero el resto de las propuestas pasan a un grupo para ser examinadas por científicos en activo. Si alguien en ese proceso de selección inicial señala un artículo que puede plantear problemas, se pasa a la cadena para que lo considere el equipo de gestión antes de que se tome una decisión final. "Siempre intentamos pecar de precavidos", dice Sever. Hasta ahora no se ha publicado nada que haya resultado peligroso, considera.
En su artículo, Smith y Sandbrink hacen recomendaciones para protegerse de posibles riesgos de bioseguridad. Por ejemplo, cuando los investigadores publiquen datos y códigos en repositorios, se les podría exigir que declaren que esos datos no son peligrosos, aunque reconocen que esto requiere un nivel de honestidad que no se esperaría de los malintencionados. Pero es un paso fácil que podría aplicarse de inmediato.
A más largo plazo, recomiendan seguir el modelo que se ha utilizado para compartir datos de pacientes, como en los ensayos clínicos. En esa situación, los datos se almacenan en repositorios que requieren algún tipo de acuerdo de acceso para poder entrar. Para algunos de estos datos, los propios investigadores no llegan a verlos, sino que se envían a un servidor que analiza los datos lejos de los investigadores y luego devuelve los resultados.
Por último, abogan por el prerregistro de la investigación, que ya es un pilar de la ciencia abierta. En pocas palabras, el prerregistro significa escribir lo que se pretende hacer antes de hacerlo, y mantener un registro de ello para demostrar que realmente se ha hecho. Smith y Sandbrink dicen que podría ofrecer una oportunidad para que los expertos en bioseguridad evalúen la investigación potencialmente arriesgada antes de que se lleve a cabo y den consejos sobre cómo mantenerla segura.
Pero es un acto de equilibrio difícil de lograr, admite Sandbrink, al evitar la sobreburocratización del proceso. "El reto será decir cómo podemos hacer las cosas tan abiertas como sea posible y tan cerradas como sea necesario, garantizando al mismo tiempo la equidad y asegurando que no sean sólo los investigadores de Oxford y Cambridge los que puedan acceder a estos materiales". Habrá personas en todo el mundo cuyas credenciales pueden ser menos claras, dice Sandbrink, pero que siguen siendo investigadores legítimos y bien intencionados.
Y sería ingenuo pretender que un muro de pago o la suscripción a una revista es lo que impide a los actores nefastos. "La gente que quiere hacer daño probablemente lo hará", dice Gabrielle Samuel, una científica social del King's College de Londres cuya investigación explora las implicaciones éticas de los grandes datos y la IA. "Incluso si tenemos procesos de gobernanza realmente buenos, eso no significa que no se produzca un mal uso. Lo único que podemos hacer es intentar mitigarlo".
Samuel cree que la mitigación de la ciencia de riesgo no empieza ni termina en la fase de publicación. El verdadero problema es que no hay incentivos para que los investigadores lleven a cabo una investigación responsable; el modo en que las revistas científicas y los organismos de financiación tienden a favorecer la investigación nueva y emocionante significa que el material más aburrido y seguro no recibe el mismo apoyo. Y la naturaleza de rueda de hámster del mundo académico hace que los científicos "simplemente no tengan la capacidad o la posibilidad de disponer de tiempo para pensar en estas cuestiones".
"No estamos diciendo que queramos que la investigación vuelva a un modelo de estar detrás de muros de pago, y que sólo sea accesible para muy pocos individuos que son lo suficientemente privilegiados como para poder permitirse el acceso a esas cosas", dice Smith. Pero ha llegado el momento de que la ciencia abierta se haga cargo de sus riesgos, antes de que ocurra lo peor. "Una vez que algo está disponible públicamente, de forma completa y abierta, es un estado bastante irreversible".
………………………
SCIENCE
APR 22, 2022
Making Science More Open Is Good for Research—but Bad for SecurityThe open science movement pushes for making scientific knowledge quickly accessible to all. But a new paper warns that speed can come at a cost.
FOR DECADES, SCIENTIFIC knowledge has been firmly shut behind the lock and key of eye-wateringly expensive journal paywalls. But in recent years a tide has been turning against the rigid, antiquated barriers of traditional academic publishing. The open science movement has gained momentum in making science accessible and transparent to all.
Increasingly journals have published research that’s free for anyone to read, and scientists have shared their data among each other. The open science movement has also entailed the rise of preprint servers: repositories where scientists can post manuscripts before they go through a rigorous review by other researchers and are published in journals. No longer do scientists have to wade through the slog of the peer-review process before their research is widely available: They can submit a paper on bioRxiv and have it appear online the next day.
But a new paper in the journal PLoS Biology argues that, while the swell of the open science movement is on the whole a good thing, it isn’t without risks.
Though the speed of open-access publishing means important research gets out more quickly, it also means the checks required to ensure that risky science isn’t being tossed online are less meticulous. In particular, the field of synthetic biology—which involves the engineering of new organisms or the reengineering of existing organisms to have new abilities—faces what is called a dual-use dilemma: that while quickly released research may be used for the good of society, it could also be co-opted by bad actors to conduct biowarfare or bioterrorism. It also could increase the potential for an accidental release of a dangerous pathogen if, for example, someone inexperienced were able to easily get their hands on a how-to guide for designing a virus. “There is a risk that bad things are going to be shared,” says James Smith, a coauthor on the paper and a researcher at the University of Oxford. “And there’s not really processes in place at the moment to address it.”
While the risk of dual-use research is an age-old problem, “open science poses new and different challenges,” says Gigi Gronvall, a biosecurity expert and senior scholar at the Johns Hopkins Center for Health Security. “These risks have always been there, but with the advances in technology, it magnifies them.”
To be clear, this has yet to happen. No dangerous virus or other pathogen has been replicated or created from instructions in a preprint. But given that the potential consequences of this happening are so catastrophic—like triggering another pandemic—the paper’s authors argue that even small increases in risk are not worth taking. And the time to be thinking deeply about these risks is now.
During the pandemic, the need for preprint servers was thrown into sharp relief—crucial research could be disseminated far more quickly than the traditionally sluggish journal route. But with that, it also means that “more people than ever know now how to synthesize viruses in laboratories,” says Jonas Sandbrink, a biosecurity researcher at the Future of Humanity Institute at the University of Oxford and the other coauthor of the paper.
Of course, just because research is published in a journal instead of a preprint server doesn’t mean it’s inherently risk-free. But it does mean that any glaring dangers are more likely to be picked up in the reviewing process. “The key difference, really, between journals and the preprint server is the level of depth that the review is going into, and the journal publication process may be more likely to identify risks,” says Smith.
The risks of open publishing don’t stop at biological research. In the AI field a similar movement toward openly sharing code and data means there’s potential for misuse. In November 2019, OpenAI announced it would not be openly publishing in full its new language model GPT-2, which can independently generate text and answer questions, for fear of “malicious applications of the technology”—meaning its potential to spread fake news and disinformation. Instead, OpenAI would publish a much smaller version of the model for researchers to tinker with, a decision that drew criticism at the time. (It went on to publish the full model in November of that year.) Its successor, GPT-3, published in 2020, was found to be capable of writing child porn.
Two of the biggest preprint servers, medRxiv, founded in 2019 to publish medical research, and bioRxiv, founded in 2013 for biological research, publicly state on their websites that they check that “dual-use research of concern” is not being posted on their sites. “All manuscripts are screened on submission for plagiarism, non-scientific content, inappropriate article types, and material that could potentially endanger the health of individual patients or the public,” a statement on medRxiv reads. “The latter may include, but is not limited to, studies describing dual-use research and work that challenges or could compromise accepted public health measures and advice regarding infectious disease transmission, immunization, and therapy.”
From bioRxiv’s outset, biosecurity risks were always a concern, says Richard Sever, one of bioRxiv’s cofounders and assistant director of Cold Spring Harbor Laboratory Press. (Sever was a peer reviewer of Smith and Sandbrink’s paper.) He jokes that in the early days of arXiv, a preprint server for the physical sciences launched in 1991, there were worries about nuclear weapons; with bioRxiv today the worries are about bioweapons.
Sever estimates bioRxiv and medRxiv get about 200 submissions a day, and every one of them is looked at by more than one pair of eyes. They get “a lot of crap” that is immediately tossed out, but the rest of the submissions go into a pool to be screened by practicing scientists. If someone in that initial screening process flags a paper that may pose a concern, it gets passed up the chain to be considered by the management team before a final call is made. “We always try to err on the side of caution,” Sever says. So far nothing has been posted that turned out to be dangerous, he reckons.
A few papers have been turned away over the years because the team thought they fell into the category of dual-use research of concern. When the pandemic arrived, the issue became all the more urgent. The two servers published more than 15,000 preprints on Covid-19 by April 2021. It became an internal wrangle: Do the high life-or-death stakes of a pandemic mean they are morally required to publish papers on what they call “pathogens of pandemic potential”—like Sars-CoV-2—which they might have traditionally turned away in the past? “The risk-benefit calculation changes,” Sever says.
But while bioRxiv and medRxiv have taken steps to deeply consider whether their output may pose a biosecurity risk or compromise public health advice, other servers and repositories may not be as fastidious. “Data and code repositories are pretty much fully open—anyone can post whatever they want,” Smith says. And Sever makes the point that if they do turn away a paper, it doesn’t mean it can’t end up online elsewhere. “It just means they can’t put it online with us.”
In their paper, Smith and Sandbrink make recommendations to safeguard against potential biosecurity risks. For instance, when researchers post data and code in repositories, they could be required to make a declaration that that data isn’t risky—though they acknowledge that this requires a level of honesty one wouldn't expect from bad actors. But it is an easy step that could be implemented right away.
On a longer timescale, they recommend following the model that’s been used in the sharing of patient data, such as in clinical trials. In that situation, data is stored in repositories that require some form of access agreement in order to gain entry. For some of this data, the researchers themselves don’t actually ever get to see it; instead it gets submitted to a server that analyzes the data away from the researchers and then sends back the results.
Finally they advocate for preregistering your research, already a pillar of open science. Put simply, preregistration means writing down what you intend to do before you do it, and keeping a record of that to prove that you actually did it. Smith and Sandbrink say it could offer an opportunity for biosecurity experts to assess potentially risky research before it even happens and give advice on how to keep it secure.
But it’s a tough balancing act to achieve, Sandbrink admits, in avoiding over-bureaucratizing the process. “The challenge will be to say, how can we make things as open as possible and as closed as necessary, whilst also ensuring equity and ensuring that it’s not just the researchers at Oxford and Cambridge that can access these materials.” There will be people around the globe whose credentials might be less clear, Sandbrink says, but who are still legitimate and well-intentioned researchers.
And it would be naive to pretend that a paywall or journal subscription is what impedes nefarious actors. “People who want to do harm will probably do harm,” says Gabrielle Samuel, a social scientist at King’s College London whose research explores the ethical implications of big data and AI. “Even if we have really good governance processes in place, that doesn’t mean that misuse won’t happen. All we can do is try to mitigate it.”
Samuel thinks mitigating risky science doesn’t begin and end at the publishing stage. The real issue is that there’s no incentive for researchers to carry out responsible research; the way scientific journals and funding bodies have a tendency to favor new, exciting research means the more boring, safer stuff doesn’t get the same support. And the hamster-wheel nature of academia means scientists “just don’t have the capacity or chance of being able to have the time to think through these issues.”
“We’re not saying that we want research to go back to a model of being behind paywalls, and only being accessible to very few individuals who are privileged enough to be able to afford access to those things,” Smith says. But it’s time for open science to be reckoning with its risks, before the worst happens. “Once something is publicly available, fully, openly—that is a pretty irreversible state.”
