신속한 엔지니어링을 통해 챗봇을 훈련시키는 방법

루카스 미리안(Lucas Mearian)

컴퓨터월드 선임기자 |

최근 몇 달 동안 인공 지능 기반 챗봇이 전 세계를 휩쓸었던 이유 중 하나는 광고 캠페인을 만들거나 이력서를 작성하는 등 다양한 목적으로 텍스트를 생성하거나 다듬을 수 있기 때문입니다.

이러한 챗봇은 인간의 지능을 모방하고 텍스트 콘텐츠는 물론 오디오, 비디오, 이미지 및 컴퓨터 코드를 생성할 수 있는 LLM(대형 언어 모델) 알고리즘을 기반으로 합니다. LLM은 자연어 입력에 대해 인간과 유사한 반응을 생성하기 위해 방대한 기사, 서적 또는 인터넷 기반 리소스 및 기타 입력에 대해 훈련된 일종의 인공 지능입니다.

점점 더 많은 기술 회사들이 애플리케이션 작업을 자동화하기 위해 비즈니스용 LLM 기반 생성 AI 도구를 공개했습니다. 예를 들어, 지난 주 Microsoft는 제한된 수의 사용자에게 OpenAI의 ChatGPT를 기반으로 한 챗봇을 출시했습니다. Microsoft 365에 포함되어 있으며 CRM 및 ERP 애플리케이션 기능을 자동화할 수 있습니다.

사용자 프롬프트를 통해 소프트웨어 코드를 생성하는 생성 AI의 예입니다. 이 경우 Salesforce의 Einstein 챗봇은 OpenAI의 GPT-3.5 대규모 언어 모델을 사용하여 활성화됩니다.

예를 들어 Word에서 새로운 Microsoft 365 Copilot을 사용하여 문서의 첫 번째 초안을 만들 수 있으므로 작성, 소싱 및 편집에 소요되는 시간을 잠재적으로 절약할 수 있습니다. Salesforce는 또한 CRM 플랫폼과 함께 사용할 GPT 기반 챗봇을 출시할 계획을 발표했습니다.

OpenAI의 GPT-4와 같은 대부분의 LLM은 다음 단어 또는 내용 예측 엔진으로 사전 훈련되어 있습니다. 즉, 대부분의 기업에서 이를 "즉시 사용"하는 방식입니다. LLM 기반 챗봇이 오류를 많이 발생시키는 반면 사전 훈련된 LLM은 최소한 출발점으로 사용할 수 있는 대부분 정확하고 설득력 있는 콘텐츠를 제공하는 데 상대적으로 잘 작동합니다.

그러나 많은 산업에서는 전문 용어를 이해하고 사용자에게 특정한 콘텐츠를 생성하는 보다 맞춤화된 LLM 알고리즘이 필요합니다. 예를 들어 의료 산업의 LLM은 전자 건강 기록(EHR)을 처리 및 해석하고, 치료법을 제안하거나 의사 메모 또는 음성 녹음을 기반으로 환자 건강 관리 요약을 작성해야 할 수 있습니다. 금융 서비스 산업에 맞춰 조정된 LLM은 수익 보고를 요약하고, 회의 기록을 작성하고, 사기 분석을 수행하여 소비자를 보호할 수 있습니다.

다양한 산업 분야에서 높은 수준의 응답 정확성을 보장하는 것이 무엇보다 중요할 수 있습니다.

대부분의 LLM은 사용자가 LLM의 응답 방식에 대한 매개변수 또는 조정을 생성할 수 있는 API(응용 프로그래밍 인터페이스)를 통해 액세스할 수 있습니다. 챗봇으로 전송된 질문이나 요청을 사용자가 응답하라는 점에서 프롬프트라고 합니다. 프롬프트는 자연어 질문, 코드 조각 또는 명령일 수 있지만 LMM이 작업을 정확하게 수행하려면 프롬프트가 정확해야 합니다.

그리고 그 필요성으로 인해 신속한 엔지니어링이라는 새로운 기술이 탄생했습니다.

프롬프트 엔지니어링은 원하는 결과를 달성하기 위해 대규모 언어 모델에 대한 텍스트 프롬프트를 제작하고 최적화하는 프로세스입니다. 실리콘 밸리 스타트업인 SambaNova Systems의 제품 담당 수석 부사장인 Marshall Choy는 "[그것은] 작업 정의에 빠르고 쉽게 맞춰 LLM을 조정하므로 LLM이 제품 프로토타이핑 및 탐색을 빠르게 반복하는 데 도움이 됩니다."라고 말했습니다. 인공지능(AI)용 반도체를 만든다.

LLM을 생성하고 호스팅하는 커뮤니티 기반 플랫폼인 Hugging Face의 기계 학습 엔지니어인 Eno Reyes에 따르면 사용자에게 중요한 만큼 신속한 엔지니어링은 IT 및 비즈니스 전문가에게 필수적인 기술이 될 준비가 되어 있습니다.

“ 내가 아는 소프트웨어, IT, 컨설팅 분야의 많은 사람들은 개인적인 업무를 위해 항상 프롬프트 엔지니어링을 사용합니다.”라고 Reyes는 Computerworld에 보낸 이메일 답장에서 말했습니다. "LLM이 점점 더 다양한 산업에 통합됨에 따라 생산성을 향상시킬 수 있는 잠재력은 엄청납니다."