ChatGPT 시대 편견 제거를 위한 설명 가능한 AI의 중요성

인공 지능이 시작된 이래로 이 기술은 산업 전반에 걸쳐 간헐적인 흥분과 걱정, 그리고 발전의 원천이 되어 왔습니다.

스카이넷(Skynet)부터 의료 분야의 혁신적인 진단 기능에 이르기까지 AI는 상상력을 포착하고 혁신을 주도할 수 있는 힘을 갖추고 있습니다.

일반 대중의 경우 AI에 대한 토론은 대개 이상한 종말 시나리오, 로봇이 우리의 일자리를 빼앗는 것에 대한 우려 또는 자동화가 어떻게 보다 균형 잡힌 일과 삶의 패러다임을 촉진할 수 있는지에 대한 흥분에 중점을 둡니다. 대부분의 경우 AI의 실제 적용과 이해가 눈에 잘 띄지 않아 오해가 공백을 메우고 있습니다.

AI의 가장 매력적인 사용 사례는 오랫동안 기업, 정부, 거대 기술 기업의 전유물이었지만 OpenAI의 ChatGPT가 등장하면서 이 모든 것이 바뀌었습니다. 이는 대규모 언어 모델과 그 생성 기능을 대량 소비할 수 있는 첫 번째 예입니다.

다양한 상황에서 즉시, 다양한 수준으로 유용한 AI 놀이터를 만들었습니다.

그러나 가장 눈에 띄는 문제이자 AI가 등장한 이후 계속 이어져 온 문제는 편견입니다.

최근 데이터 과학자들은 모델에서 편견을 제거할 수 있는 방법을 찾기 위해 최선을 다하고 있으며, 특히 모델의 결과가 고객과 최종 사용자에게 부정적인 영향을 미칠 수 있는 업계에서는 압박이 가중되고 있습니다.

예를 들어, 금융 서비스의 경우 의사결정 알고리즘은 의사결정을 신속하게 처리하고 서비스를 개선하기 위해 수년 동안 사용되어 왔습니다. 그러나 대출의 맥락에서 편향된 모델의 산물인 '나쁜' 또는 '잘못된' 결정은 개인에게 재앙적인 결과를 초래할 수 있습니다.

편견을 제거하려면 데이터 과학 및 기계 학습 팀이 솔루션을 구축하는 커뮤니티를 대표하는지 확인하거나 최소한 모델에 공정성을 구축하는 원칙을 이해하는지 확인하는 것부터 모델이 설명 가능하도록 보장하는 것까지 다각적인 전략이 필요합니다.

설명 가능한 AI를 모범 사례로 삼는 주요 동기는 '블랙박스' 머신러닝 모델을 제거하는 것입니다. 블랙박스는 종종 높은 성능을 발휘할 수 있지만 그 결과를 이해할 수 없는 경우 부정확성 또는 차별 혐의에 대한 구체적인 방어가 거의 불가능합니다.

의사결정 모델이 중대한 결과를 가져올 수 있는 산업에서는 소비자와 규제 기관 모두로부터 책임 강화에 대한 압력이 커지고 있습니다. 이것이 바로 기업이 앞서 나가기 위해 노력해야 하는 이유입니다.

편향을 고려할 때 설명이 필요한 모델의 주요 구성 요소는 종종 무시됩니다. 데이터 과학자와 기계 학습 엔지니어는 모델을 구축할 때 작업할 수 있는 표준 파이프라인을 가지고 있습니다. 물론 데이터는 모든 것의 중심에 있으므로 먼저 데이터 세트를 탐색하고 이들 간의 관계를 식별합니다.

그런 다음 데이터를 사용 가능한 형식으로 변환할 수 있는 탐색적 데이터 분석을 수행합니다. 그런 다음 당면한 문제를 해결하기 위해 데이터에 대한 보다 유용한 설명을 생성하기 위해 기능 생성을 시작하기 전에 데이터를 조정하고, 정리하고, 사전 처리해야 합니다.

그런 다음 다양한 모델을 실험하고, 매개변수와 하이퍼파라미터를 조정하고, 모델을 검증하고, 고성능 솔루션이 나올 때까지 이 주기를 반복합니다. 여기서 문제는 각 단계에서 공정성을 확보하기 위한 헌신적인 노력이 없으면 결과가 편향될 수 있다는 것입니다.

물론 편견을 완전히 제거할 수는 없지만 모델 개발의 각 단계가 공정성을 우선시하는 방법론을 따르도록 노력할 수는 있습니다.

이를 제공하기 위한 나의 권장 사항은 먼저 훈련 모델을 위한 다양한 데이터 세트, 즉 가장 대표적인 데이터 세트를 선택하고, 모델과 모델이 방법론을 준수하는 방법을 설명하는 표준화된 프로세스 및 문서를 개발하여 성능과 결정이 이루어질 수 있도록 하는 것입니다. 이해했다.