OpenAI implementará nuevas estrategias para evaluar los riesgos de la Inteligencia Artificial
Un equipo advertirá a la empresa si cree que alguna de sus capacidades de Inteligencia Artificial se torna peligrosa. Los detalles.
OpenAI evaluará los riesgos de la Inteligencia Artificial.
OpenAI, creador de ChatGPT, tendrá un equipo dedicado a identificar y prevenir riesgos asociados a la Inteligencia Artificial (IA) en sus modelos en desarrollo.
El grupo evaluará categorías como ciberseguridad, poder de persuasión y potencial autonomía de estos modelos. Este análisis puede acarrear la suspensión de nuevos lanzamientos de aplicaciones, dijo la empresa.
OpenAI hizo el anuncio un mes después de que su consejo directivo despidiera al director ejecutivo Sam Altman, quien finalmente volvió a la empresa pocos días después, luego de una masiva protesta.
Los miembros del Consejo de administración criticaban a Altman por privilegiar el desarrollo acelerado de OpenAI, aunque esto implicara eludir ciertas interrogantes sobre los posibles riesgos de la IA, reeportaron varios medios estadounidenses.
«Creemos que el estudio científico de riesgos catastróficos derivados de la AI no ha estado a la altura que debería estar», afirmó la empresa en un «marco de trabajo» disponible en su página web.
El trabajo de este equipo, bajo las nuevas directrices, debería «ayudar a cubrir ese vacío», añadió OpenAI. El grupo se concentrará en los llamados «modelos de frontera» que la empresa desarrolla, con capacidades superiores a los software actuales de IA.
Sólo podrán desplegarse aquellos modelos catalogados de riesgo «medio» o inferior, tras un análisis en cuatro categorías, según el documento.
Las categorías que analizarán OpenAI
La primera de ellas es la ciberseguridad y la capacidad del modelo de llevar adelante ciberataques a gran escala.
Sophia, IA: ¿futura legisladora?
En segundo lugar, analizarán la propensión del programa a crear preparaciones químicas, organismos (como un virus) o armas nucleares, todos los que potencialmente pueden generar daños para los humanos.
La tercera categoría se concentra en los poderes de persuasión del modelo: hasta qué punto es capaz de influenciar la conducta de una persona.
Por último, evaluarán el riesgo de su potencial autonomía, especialmente si el software es capaz de salirse del control de los programadores que lo crearon.
Una vez identificados los riesgos, la información será enviada al Grupo de Asesoramiento en Seguridad de OpenAI, nuevo equipo que hará recomendaciones a Altman o alguien nombrado por él.
Altman decidirá entonces sobre posibles modificaciones necesarias para reducir los riesgos del modelo. El Consejo de administración será informado y podrá revertir las decisiones de la dirección.
Con información de Agencia AFP
Comentarios