AI 엔지니어 역할

• 제품에 AI를 통합

• LLM Provider(OpenAI, Anthopic, Google.,)와 협력

• AI가 해결할 수 있는 실제 문제를 파악

• AI가 트렌드니까 적용하자! 가 아니라, 실제 문제를 해결하기 위해 출발

작업¶

1. 프롬프트 테스트 - 입력값을 알고 있고 예쌍 출력값이 있는 경우

2. 평가 데이터 세트 - 품질을 검증하기 위한 입력 데이터 세트 준비 및 측정 지표 제공

3. 평가 결과를 보고 프롬프트 변경, 평가 실행, 성능 및 안정성 확인 등 프롬프트 반복 작업

4. 배포하기 전에 소규모 그룹을 대상으로 A/B 테스트 진행

5. 모니터링 - 오류율 및 실패 사례 확인

6. 로그 수집 - 입력 및 출력 검사, 불일치 사항 발견

7. 사람이 검증 - 만들어진 데이터 분석, 품질 검증, 평가 세트에 추가

8. 프롬프트 버전 관리 - 프롬프트 및 추적을 위한 버전 관리 (e.g. Git)

9. 사용자 피드백 - 명시적 피드백(좋아요/싫어요) 및 암묵적 피드백(e.g. 결과를 수정하는 행위)

단계별¶

1단계 사용자 입력 -> 프롬프트 + LLM API -> 응답

2단계 RAG: 데이터 파이프라인, 검색 엔진(벡터/텍스트), 검색 결과 추출, 인프라 구성, 안정성 추가

3단계 에이전트: 도구 호출 추가, LLM 라운드, 다단계 평가, 추적 계측, 도구 배포 관리

하지 않는 일¶

• 모델을 처음부터 만드는 일

• 특정 상황의 모델 아키텍처 구축

• 고강도 기능 설계

집중해야 하는 일¶

• AI 시스템 엔지니어링 모범 사례

• 신속한 디자인 및 버전 관리

• 제품에 AI 통합

• 평가 및 모니터링