올해 초, OpenAI에서 ChatGPT 서비스를 출시한 것을 계기로 인공지능 분야에 관심을 갖게 되었습니다. 이 서비스를 적극 활용하면서 OpenAI가 제공하는 API를 이용한 서비스 개발까지 시도해보았습니다.
더 나은 답변을 얻기 위해서는 프롬프트 작성 능력이 중요하다는 것을 깨달았습니다. 이를 위해 프롬프트 작성에 관한 커뮤니티에 가입해 활동하면서 많은 노력을 기울였습니다. 그러나 내가 원하는 서비스를 만들기 위해 필요한 프롬프트 엔지니어링에 한계를 느꼈습니다. 특히 복잡한 프롬프트나 특정 컨텍스트를 필요로 할 때 원하는 결과를 얻기 어려워 서비스 개발을 거의 포기하려던 차에, Facebook 광고를 통해 '프롬프트 엔지니어링, LLM(ChatGPT) 기반의 AI 서비스 개발' 강의를 접하게 되었습니다.
이 강의는 프롬프트를 효과적으로 작성하는 기본적인 방법뿐만 아니라, 실습을 통해 예시까지 제공하여 큰 도움이 되었습니다. 특히 RAG 기법을 배우며 답변의 질이 크게 향상되었습니다. 벡터DB를 활용해 원하는 컨텍스트와 함께 프롬프트를 생성하고 응답을 받는 기법은 실습 코드를 통해 이해할 수 있었고, 이를 응용하는 데 큰 도움이 되었습니다.
이 강의 덕분에 머릿속에만 있던 아이디어로 작은 사이드 프로젝트를 시작할 수 있었습니다. 개발을 하다 보면 다양한 사이트를 참고하게 되고, 메모 프로그램에 사이트를 클리핑하는 과정에서 URL이나 메타데이터만 저장되어 나중에 어떤 사이트인지 알기 어려운 점을 발견했습니다. 이를 해결하기 위해 사이트 클리핑 시 해당 사이트의 내용을 요약한 글과 임베딩된 데이터를 DB에 저장하고, 비슷한 내용의 메모가 있을 때 참조할 만한 사이트를 나열해주는 프로그램을 개발 중입니다.
아직 프롬프트 튜닝이 끝나고 출력한 데이터를 임베딩하는 단계에 있습니다.
빨리 프로그램을 다 완성시켜 실제 데모한 화면이나 실제 서비스를 오픈해 여러분께도 보여드릴 수 있으면 좋겠습니다.
LLM을 더 효과적으로 사용하고 싶거나 응용해보고 싶은 분들에게 이 강의를 강력히 추천합니다.