AI 엔지니어링 책임

• 에이전트 및 에이전트 기반 워크플로우

• 보안, 안전 및 규정 준수

• 모니터링 및 유지 관리

• 데이터 및 파이프라인

• API와 서비스 통합

• 연구 및 실험

• 고객 및 의뢰인 업무

• 파인 튜닝 및 훈련

해결하는 문제들¶

기술 보다는 해결해야 하는 문제 맞춰 정의했으며, 각 책임이 직무 전반에 영향을 미침

매우 흔한 업무¶

AI 시스템 구축¶

기업들은 특정 비즈니스 문제를 해결하기 위해 구축된 AI 시스템이 필요함.

업무:

• 컴퓨터 사용, 평가 및 음성 에이전트를 포함한 LLM 기반 기능을 구현

• 데이터 세트를 사용하여 AI 모델 및 애플리케이션을 설계 및 구축

• AI 상호작용을 위한 UX 패턴 설계

• 모델 배포, 롤백, 확장 및 라이프사이클 관리를 위한 자동화 시스템 개발

패턴:

• AI 에이전트 및 에이전트 기반 워크플로우 - 계획 및 도구를 제공하는 프레임워크를 사용하여 자율 애이전트를 구축

• 챗봇 및 대화형 AI - 컨텍스트 관리를 통해 대화형 인터페이스 설계

• RAG - 벡터 데이터베이스를 활용한 검색 증강 생성 구현

• 평가 시스템 - AI 품질 및 성능 측정 프레임워크 구축

상용화¶

노트북 환경에서는 잘 동작하는 AI가 실 운영 환경에서는 제대로 동작하지 않는 경우가 많음. 안정성, 확장성, 모니터링이 어렵기 때문임.

업무:

• MVP부터 프로적션 단계까지 LLM 또는 RAG 기반 솔루션을 포함하여 AI 지원 시스템을 구축

• 기획부터 배포까지 전 과정을 담당함: 프론트엔드 UI, API 설계, 백엔드 서비스, 데이터 파이프라인

• 유관팀과 긴밀히 협력하여 안정적인 AI 기능을 출시

• LLM Gateway, 평가 프레임워크 및 모니터링을 포함한 플랫폼 도입을 촉진

패턴:

• API 설계 및 모델 서빙 - 높은 처리량과 낮은 지연 시간을 갖춘 AI 워크로드 구축

• LLM 배포 전략 - 제공업체, 오픈 소스 모델 또는 파인 튜닝 모델 중에 선택

• 모니터링 및 관찰 - LLM 관련 지표 추적(토큰 사용량, 비용, 지연 시간, 오류 발생 빈도)

• 확장성 및 인프라 - 급증하는 트래픽 처리, GPU 리소스 관리, 고가용성 유지

• 운영 안정성 - 비상 호출 참여, 사고 대응, 운영 매뉴얼, 사후 분석

비용 및 확장성을 관리하면서 실제 운영에 사용할 수 있도록 신뢰할 수 있는 확률 기반 AI 시스템을 구축해야 함.

평가 및 품질¶

AI 시스템은 환각을 일으키거나, 편향된 결과를 내놓거나, 예기치 않게 오류를 일으킬 수 있기에 품질 보증이 매우 중요함.

업무:

• 평가 프레임워크 개발: 오프라인 벤치마크, 안정성 테스트, 회귀 테스트, LLM 기반 평가 파이프라인

• 가이드라인, 모니터링 및 평가 프레임워크를 통해 안전하고 신뢰할 수 있는 AI 결과물을 보장

• 지도 학습 및 비지도 학습 머신러닝 모델을 구축하고 평가

• 임베딩 정확도, 검색 품질 및 모델 응답을 포함한 RAG 파이프라인의 유효성을 검증

패턴:

• 평가 프레임워크 - 제품 출시 전 AI 품질을 위한 자동화된 테스트 시스템 구축

• 안전장치 - 콘텐츠 필터, 유효성 검사, 사람 참여형 워크플로우 구현

• 환각 탐지 - 인용, 충실도 측정 기준, 컨텍스트 엔지니어링을 활용한 RAG 사용

• 편향 및 공정성 - 편향 테스트를 실시하고 모든 사용자 그룹에서 공평한 결과가 도출되도록 보장

• 인간 참여형 설계 - 피드백 메커니즘을 활용하여 효율적인 검토 워크플로우를 설계

비결정적 시스템에 대한 의미 있는 측정 기준을 정의하고, 실제 운영 환경에 배포하기 전에 예외적인 상황을 파악해야 함.

API와 서비스 통합¶

기업들은 기존 제품 및 데이터 시스템을 완전히 개구축하지 않고도 LLM 기능을 통합해야 함.

업무:

• AI 오케스트레이션을 Python, SQL 및 플랫폼을 사용해 데이터 파이프라인과 통합

• 프론트엔드 기능과 Python/FastAPI 백엔드를 연결하기 위해 스택 전반에 걸쳐 작업 수행

• MCP 서버 및 도구 통합을 개발

• 분산 추적을 위해 OpenTelemetry 또는 Datadog을 사용하여 관측 가능성 솔루션을 통합

패턴:

• 프로바이더 API 통합 - OpenAI, Anthropic, Google 및 기타 LLM API 연결

• API 키 관리 및 속도 제한 - 오류 처리, 재시도, 대체 방안, 비용 제어

• 도구 및 함수 호출 - LLM을 내부 시스템, MCP 서버 및 SDK에 연결

• 기존 시스템 통합 - AI를 ERP, CRM, EHR 및 기타 기업내 시스템에 연결

비용 및 사용량 제한/API 변경 사항을 관리하면서 타사 API 및 내부 시스템 위에 안정적인 애플리케이션을 구축해야 함.

인프라 및 플랫폼¶

AI는 GPU 클러스터, MLOps 툴, 확장 가능한 플랫폼과 같은 특수 인프라를 필요로 함.

업무:

• 설계 문서를 통해 AI 플랫폼 계층의 기술 방향을 설정하고 핵심 구성 요소를 직접 개발

• 기업 문서 관리 및 데이터 보안을 지원하는 안전하고 확장 가능한 AI 플랫폼을 구축하고 최적화

• 데이터 파이프라인 및 모델 서빙을 포함한 프로덕션 AI 시스템에 대한 아키텍처 표준을 수립하고 시행

• 스크립팅 및 인프라스트럭처 코드를 사용하여 워크플로우 및 운영을 자동화

패턴:

• AI 플랫폼 엔지니어링 - 평가, 실험 및 컨텍스트 관리를 통해 사내 AI 플랫폼 구축

• GPU/컴퓨팅 인프라 - GPU 리소스 할당 관리, 비용 제어, 고가용성 보장

• 벡터 데이터베이스 인프라 - 벡터 검색, 재순위 지정 및 속성 부여 기능을 갖춘 RAG 시스템 구현

• 모델 레지스트리 - 버전 LLM, 세부 조정된 모델, 프롬프트 템플릿 및 RAG 구성

• 실험 추적 - 프롬프트 실험, RAG 구성 및 평가 결과를 추적

• 보안 및 규정 준수 - 인증, 권한 부여, 개인 건강 정보/개인 식별 정보 처리, 암호화

AI 발전 속에서 안정성을 유지하면서 다양한 사용 사례를 수용할 수 있는 유연한 플랫폼을 구축해야 함.

협업과 소통¶

AI 엔지니어는 단독으로 일할 수 없음. 기획, 데이터, 엔지니어링 및 비즈니스 팀과 협업해야 함.

업무:

• 엔지니어 및 제품 관리자와 협력하여 가설, 해결책 및 원하는 결과를 수립

• 비즈니스 팀과 협력하여 자동화 기회를 파악하고 요구 사항을 기술적인 작업으로 변환

• 신호 처리 및 컴퓨터 비전 파이프라인과의 통합을 위해 알고리즘 팀과 협력

• 이해관계자들의 의견을 종합하고, 결과를 시각화하고, 경영진에게 결과를 전달

패턴:

• 부서 간 협업 - 엔지니어, 연구원, 제품 관리자, 분야별 전문가와 함께 작업

• 이해관계자 관리 - 요구사항 도출, 기대치 관리, 요청 우선순위 지정

• 기술 리더십 - 멘토링, 코드 리뷰, 기술 수준 향상, 지식 공유

• 문서 관리 - 모델, 프로세스, 워크플로우, 모범 사례에 대한 문서를 유지 관리

• 고객 커뮤니케이션 - 기술 판매 주기, 솔루션 아키텍처, 고객 피드백

상충되는 우선 순위를 관리하면서 기술적 소통과 비기술적 소통의 간극을 메우는 것.

성능 최적화¶

AI 시스템은 속도가 느리거나, 비용이 많이 들거나, 신뢰성이 떨어질 수 있음. 상용화를 위해서는 최적화가 필수임.

업무:

• 프로파일링, 최적화 및 캐싱 전략을 통해 AI 에이전트의 성능, 지연 시간 및 비용을 최적화

• GPU 및 컴퓨팅 플랫폼 전반에 걸쳐 모니터링, 관찰 가능성 및 성능 튜닝을 구현

• 특정 사용 사례에 맞춰 성능을 최적화하도록 모델을 맞춤 설정하고 세밀하게 조정

• 재설계를 통해 라이브러리 성능을 개선하고 컴퓨팅 자원을 절감할 수 있는 기회를 파악

패턴:

• 지연 시간 감소 - 캐싱, 배치 처리, 스트리밍, 모델 정제

• 비용 최적화 - 토큰 추적, 모델 라우팅, 프롬프트 압축

• 처리량 확장 - 배치 추론, GPU 스케줄링, 자동 확장

• 자원 효율성 - 양자화, 소형 모델, 효율적인 검색

품질을 유지하면서 지연 시간을 줄이고, 컴퓨팅 비용을 관리하며, 다양한 배포 환경에 최적화하는 것.

흔한 업무¶

데이터 처리¶

AI 시스템은 깨끗하고 구조가 잘 잡힌 데이터를 필요로 함. 데이터 처리는 기초 작업임

업무:

• 확장 가능한 머신러닝/AI 시스템 및 파이프라인을 설계하고 구현

• 데이터 정제, 변환, 분할 및 임베딩 생성을 위한 데이터 처리 파이프라인을 구현

• 이미지, 비지오, 오디오, 텍스트 및 구조화된 데이터를 포함한 대규모 데이터 세트를 다룸

• 데이터 정제를 포함하여 대규모 운영 데이터 세트를 다룸

패턴:

• 데이터 수집 - 다양한 데이터 유형 및 소스를 수집하기 위한 파이프라인 구축

• 데이터 변환 - AI 애플리케이션을 위해 원시 데이터를 전처리, 정제 및 변환’

• 데이터셋 관리 - 학습 및 평가를 위한 데이터셋을 선별, 버전 관리 및 유지 관리

• 데이터 품질 - 유효성 검사, 데이터 정제 및 품질 검사 구현

다양한 데이터 형식을 처리하고 파이프라인의 안정성을 유지하면서 대규모 데이터 품질을 보장하는 것.

에이전트 및 에이전트 기반 워크플로우¶

기업들은 단순히 텍스트를 생성하는 것이 아니라, 행도을 취할 수 있는 AI를 원함. 에이전트에게는 오케스트레이션, 메모리 및 도구가 필요함.

업무:

• 아키텍처 설계, 코드 검토 및 에이전트 기반 설계 패턴에 대한 코칭을 통해 기술적 리더십을 발휘

• 고객과 긴밀히 협력하여 비즈니스 프로세스를 이해하고 AI 에이전트를 활용하여 자동화 기회를 파악

• 에이전트의 오류 모드를 체계적으로 식별하고 방지하기 위해 적대적 테스트를 구현

• 비즈니스 목표를 명확하고 측정 가능한 AI 활요 사례 및 가상 에이전트 전략으로 전환

• MLOps 팀과 협력하여 에이전트의 지속적인 업데이트 및 배포를 진행

여러 단계로 이루어진 작업을 안정적으로 계획하고, 일관된 컨텍스트를 유지하며, 오류를 원활하게 처리하고, 여러 전문 에이전트 간의 조정을 수행할 수 있는 에이전트를 설계하는 것.

RAG 및 검색¶

기업들은 자사 고유 데이터에 접근할 수 있는 AI가 필요함. 키워드 검색만으로는 충분하지 않음.

업무:

• 최신 LLM 기술을 활용하는 RAG 시스템을 설계, 구현 및 최적화

• 프로덕션 RAG 워크플로우 및 지능형 도구를 구축하고 배포

• 데이터 정제, 변환, 분할 및 임베딩 생성을 위한 데이터 처리 파이프라인을 구현

• RAG, 미세 조정 파이프라인, 신속한 엔지니어링 레시피 및 에이전트 패턴을 포함한 AI 시스템을 개발

패턴:

• 문서 처리 및 분할 - 다양한 형식(Word, PDF, HTML, Markdown, 오디오, 비디오)을 처리

• 벡터 검색 및 의미 검색 - 최적화된 인덱스를 사용하여 고정밀 의미 검색을 구현

• 지식 그래프 및 하이브리드 검색 - 그래프 순회와 벡터 유사도 결합

• 쿼리 재작성 및 확장 - 사용자 의도 파악, 모호성 처리, 컨텍스트 유지

• 재순위화 및 결과 최적화 - 관련성 점수 균형 유지, 다양한 쿼리 유형에 맞춘 최적화

• 컨텍스트 창 관리 - 토큰 제한 내에서 관련 정보를 최대한 활용

도메인별 용어를 처리하고 지연 시간을 최적화하면서 대규모로 정확한 의미 검색을 달성하는 것.

보안 및 규정 준수¶

AI 시스템은 보안, 개인정보 및 규정 준수 관련 위험을 초래할 수 있음. 이런 문제들을 해결해야 함.

업무:

• CI/CD 및 릴리즈 프로세스를 강화하여 배포 안정성과 속도를 향상

• 코드 보안, 모델 거버넌스 및 책임 있는 AI 관행 준수를 보장

• 개인정보 보호, 보안 및 윤리적 AI 가이드라인과 일관성을 보장

• LLM Gateway와 접근 제어 기능을 활용하여 중앙 집중식 AI 플랫폼 거버넌스를 설계하고 구축

패턴:

• 데이터 개인정보 보호 - 개인 건강 정보/개인 식별 정보 처리, 수정, 저장 및 전송 중 암호화

• 모델 거버넌스 - 프로덕션 모델에 대한 버전 관리, 감사 추적, 승인 워크플로우

• 책임감 있는 AI - 편향 검증, 공정성, 투명성, 설명 가능성

• 위협 모델링 - 즉시 주입, 데이터 오염, 모델 추출 방어

보안과 사용 편의성의 균형을 유지하고, 여러 관할권에 걸쳐 규정 준수를 보장하며, AI 관련 위협으로부터 보호하는 것.

연구 및 실험¶

AI 기술은 빠르게 발전하고 있음. 기업들은 새로운 기술을 실험하고 최신 동향을 따라잡아야 함.

업무:

• AI 발전, 다중 에이전트 오케스트레이션 및 에이전트 자율성에 대한 지속적인 연구를 수행

• 머신러닝 과학자 및 데이터 과학자와 협력하여 프로토타입과 모델을 실제 운영 환경으로 전환

• 비즈니스 요구사항을 해결하기 위해 AI/ML 프로토타입을 설계, 개발 및 테스트함.

• 실험, 시뮬레이션 및 결과 관리를 위한 인프라를 구축

급속한 기술 변화에 발맞춰 실험적인 혁신과 생산 신뢰성 사이의 균형을 유지 하는 것.

고객과 함께 일하기¶

AI 솔루션은 실제 고객에게 제공되어야 함. 이를 위해서는 고객의 요구사항을 이해하고 성공을 보장해야 함.

업무:

• 솔루션 자산 및 고객 맞춤형 프레임워크 전반에 걸쳐 AI 활용 사례의 주요 개발자 역할을 수행

• 고객팀에 합류하여 사용 사례를 발굴하고 AI 배포 솔루션을 개발

• 실험, 프로토타입 제작 그리고 제품 출시를 신속하게 진행하여, 혁신을 아이디어 단계에서 실제 고객 환경에서의 생산 단계로 전환

• 고객 조직 전반에 걸쳐 AI 활용 사례를 파악하고 확장

기술 개념을 비즈니스 담당자에게 이해하기 쉽게 설명하고, 고객의 기대치를 관리하며, 성공적인 도입을 보장해야 함.

드문 업무¶

프론트엔드 및 사용자 인터페이스¶

AI 기능에는 사용자 친화적인 인터페이스가 필요. 챗봇, 대시보드, 웹 애플리케이션은 사용자가 AI와 상호작용하는 방식임.

업무:

• 백엔드(Node.js/Python) 및 프론트엔드(React/Next.js) 개발을 통해 개발 라이프사이클에 기여함

• React, TypeScript 및 Python을 사용하여 Fullstack 기능을 개발하고 유지 관리함

• AI/ML 구성 요소를 프론트엔드, 백엔드, 데이터 및 컴퓨팅 인프라와 통합함

• 프론트엔드 구성 요소를 백엔드 API 및 AI 서비스와 연결하여 실시간 결과를 표시함

직관적인 인터페이스를 통해 AI 기능을 쉽게 이용할 수 있도록 하면서, 실시간 응답을 처리하고 컨텍스트 제한을 관리해야 함.

희귀한 업무¶

파인 튜닝¶

일반적인 모델은 특정 사용 사례에 항상 적합한 것은 아님. 세부 조정을 통해 특정 작업의 성능을 향상시킬 수 있음.

업무:

• 신속한 엔지니어링 전략 및 미세 조정 기법(LoRA, PEFT, RLHF)을 개발

• 모델 학습, 파인 튜닝, 평가 및 실험을 지원

• 최적화된 검색 파이프라인을 활용한 LLM 미세 조정, 평가 및 배포를 주도

• LoRA/QLoRA, PEFT, RLHF 방법을 사용하여 개방형 가중치 LLM을 미세 조정함

양질의 학습 데이터 확보, 치명적인 기억 상실 방지, 효과적인 학습 개선 측정

프롬프트 엔지니어링¶

LLM에서 안정적인 동작을 얻으려면 즉흥적인 작성보다는 엔지니어링 분야처럼 체계적이고 의도적인 설계가 필요함.

업무:

• 신속한 엔지니어링 프레임워크, 평가 파이프라인 및 피드백 루프를 개발하고 유지 관리함

• 자체적인 프롬프트 엔지니어링 및 평가를 수행하고, 평가 및 프롬프트를 코드로 취급함

• 기존 프레임워크를 활용하여 신속한 엔지니어링 패턴, RAG 파이프라인 및 도구 강화 에이전트를 구현

• 정확성과 성능을 위해 신속한 엔지니어링 전략과 모델 상호 작용을 최적화

일회성으로 생성되는 불안정한 문자열이 아닌, 재현 가능하고 버전 관리가 가능하며 테스트 가능한 프롬프트를 만드는 것.

자체 호스팅 모델¶

일부 기업은 개인정보 보호, 비용 또는 지연 시간 요구 사항 때문에 공급업체 API를 사용할 수 없음.

업무:

• vLLM, TensorRT-LLM 및 사용자 정의 서빙 솔루션을 사용하여 LLM 추론 시스템을 구축하고 최적화

• CUDA, NeMo, Triton, TensorRT를 포함한 Nvidia Enterpriese Suite 구성 요소를 통합하고 최적화

• vLLM., SGLang, FlashInfer와 같은 오픈 소스 커뮤니티에 기여

• 오픈소스 모델을 특정 도메인 작업에 맞게 미세 조정하고 지연 시간과 비용을 최적화

자체 호스팅이 드문 이유:

• 프론티어 모델(Fable5, GPT-5.6)은 API를 통해서만 사용할 수 있음

• 상당한 운영 오버헤드

• 소규모 생산 시 GPU 비용이 높음

• 전문적인 인프라 기술이 필요

자체 호스팅이 필요한 경우:

• 데이터 개인정보 보호 요건 - 외부 API로 데이터를 전송할 수 없음

• 규모의 경제 효과 - 대량 생산 시 자체 호스팅 비용이 저렴해짐

• 낮은 지연 시간이 필요한 경우 - Edge 또는 특정 요구 사항을 위한 온프레미스 환경

• 사용자 지정 모델 - 사용자가 직접 호스팅하는 세밍하게 조정된 모델

핵심¶

구축은 주요 책임 사항¶

AI 엔지니어는 무엇보다 시스템을 구축하는 전문가임

생산은 주요 책임 사항¶

배포, 모니터링, 인프라를 모두 합치면 AI를 실제 서비스에 적용하는 작업이 전체 작업의 대부분을 차지하며, 처음 생각했던 것보다 훨씬 더 큰 규모임

품질은 선택사항이 아님¶

AI 엔지니어는 안정적이고 안전하게 작동하는 시스템을 구축해야 함

API 통합 이 자체 호스팅 보다 좋음¶

시장은 자체 추론 인프라를 운영하기보다는 제공업체의 API를 압도적으로 많이 활용하고 있음

RAG와 에이전트는 주류¶

RAG와 에이전트는 이제 전문 분야가 아닌 표준이 되었음.

파인 튜닝은 흔하지 않음¶

대부분 학습이나 조정보다는 RAG, 프롬프트, 통합 기능을 활용하여 기존 모델을 사용