나만의 AI 에이전트, '제2의 두뇌' 구축하기
본 강의 시리즈에서는 내 컴퓨터에 나만의 인공지능 에이전트를 육성하는 방법을 소개합니다. 이 에이전트는 똑똑하고 완전 무료이며 안전하게 보안됩니다. 이는 자신의 삶을 완전히 복제하는 '제2의 두뇌'를 가진 AI 에이전트로, 콘텐츠 업로드 기록, 조회수, 댓글, 좋아요, 깃허브 코드, 사업 트래픽 등 기억에 남는 모든 지식을 점으로 만들고 연결하는 데이터 구조화를 포함합니다.
이러한 방법은 OpenAI 공동 창업자 안드레아 카파스(Andrej Karpathy)가 이야기한 것과 유사하며, 인공지능 시작 초기부터 연구해온 방식입니다. 이 시스템이 작동하기 위해서는 두 가지 핵심 요소가 필요합니다. 하나는 데이터 네트워크, 다른 하나는 나만의 인공지능 모델입니다. 최근 구글 젬마 4(Gemma 4)의 출시로 두 번째 문제가 해결되어 이 모든 과정이 가능해졌습니다.
미래 사회 변화와 AI 에이전트의 중요성: 앞으로 빈부 격차가 더욱 심화될 것이며, 사람들은 직접적인 노동보다는 에이전트가 일을 대신하는 형태가 될 것입니다. 똑똑한 인공지능 에이전트를 잘 활용하는 사람들은 지속적으로 수익 활동을 이어갈 수 있을 것이며, 그렇지 못한 사람들은 취업 기회를 잃거나 정부 보조금에 의존하여 생존하게 될 가능성이 높습니다.
지식 데이터베이스 구축의 핵심: 옵시디언
지식 데이터베이스 구축의 첫 단계는 옵시디언(Obsidian)을 활용하여 지식 네트워크를 만드는 것입니다. 옵시디언에서는 '점' 형태로 키워드와 지식들이 연결됩니다. 이는 우리 두뇌의 기억 방식과 유사하게, 하나의 키워드에서 여러 기억들이 연결되는 구조입니다.
예를 들어, 유튜브 관련 키워드를 검색하면 썸네일, 제목, 설명, 조회수, 좋아요, 댓글 등 약 1,821개의 유튜브 관련 지식이 연결되어 나타납니다. 마찬가지로 사업 관련 기록(날짜별 접속자 수 등)도 10년 넘게 시도한 모든 기록들이 점으로 연결됩니다. 이처럼 모든 지식과 키워드를 연결하는 것을 그래프 네트워크라고 합니다.
그래프 네트워크란? 모든 지식과 키워드를 서로 연결하여 시각적으로 표현하는 방식으로, 지식 간의 관계를 파악하고 효율적인 검색을 가능하게 합니다.
안드레아 카파스는 LLM 위키를 통해 자신만의 지식을 쌓는 것이 중요하다고 강조했습니다. 기존 RAG(Retrieval-Augmented Generation) 방식(예: 노트북 LM, 노션 등 문서 연결)은 토큰 발생량이 많고 효율적이지 않아 비효율성이 발생합니다. 따라서 나만의 지식을 마크다운(Markdown) 형식으로 구조화해야 합니다.
마크다운(Markdown)이란? 사람이 작성하기 쉽고 컴퓨터가 효율적으로 이해하고 처리할 수 있는 문서 형식입니다. AI가 모든 텍스트를 읽는 대신 키워드를 찾아 효율적으로 지식을 검색하므로, 단순히 초기화되는 것이 아니라 점진적으로 성장하는 두뇌처럼 작동합니다.
이러한 지식 축적 방법(카파스 방법)과 강화 학습(경험을 통해 성장)을 결합하여 데이터를 쌓고 인공지능을 학습시키는 방식으로 에이전트의 지능을 향상시킬 수 있습니다.
AI 에이전트와 지식 연동: 젬마 4 활용
옵시디언 설치 및 기본 지식 생성
- 구글에서 '옵시디언'을 검색하여 다운로드 및 설치합니다.
- 실행 후 '생성' 버튼을 눌러 보관함 이름을 지정하고 폴더를 선택하여 새로운 보관함을 만듭니다.
- '환영합니다'라는 기본 메모리가 표시되며, 왼쪽 '그래프 보기'를 통해 연결된 지식을 시각화할 수 있습니다.
- 왼쪽 상단의 새 파일 버튼을 눌러 '첫 번째 기억' 또는 '처음으로 지식을 쌓는다'와 같은 지식을 입력합니다.
- 그래프 보기를 통해 새로운 지점이 생성되지만, 아직 다른 지식과의 연결 고리는 없습니다. 텍스트만으로 지식을 쌓으면 효율적인 데이터 검색이 어렵기 때문에, 지식을 구조화하는 방식이 필요합니다.
이미지 생성 지식 구조화 예시
인공지능 에이전트에게 이미지 생성 방법을 학습시키는 과정을 통해 지식 구조화의 중요성을 이해할 수 있습니다.
- 프롬프트 활용 이미지 생성: 젬마(Gemini)에 특정 프롬프트(예: `AM 멘토가 이 제이슨 프롬프트를 사용해서 이미지를 한번 생성해 보래.`)를 입력하여 이미지를 생성합니다.
- 생성된 이미지 지식화: 생성된 이미지와 프롬프트는 인공지능 에이전트에게 학습시켜야 할 지식입니다.
- 지식 구조화: 새로운 채팅에서 '아래의 형태로 프롬프트 지식화 및 구조화'라고 입력한 후, 구조화된 템플릿과 프롬프트를 붙여 넣어 지식을 생성합니다.
- 옵시디언에 지식 저장: 생성된 구조화된 지식(키워드 포함)을 옵시디언 새 파일에 붙여 넣고 저장합니다. (예: '치타 사람 이미지 프롬프트')
- 지식 연결 확인: 옵시디언 그래프 뷰를 통해 '치타 사람 이미지 프롬프트'와 연결된 '조현실적 스포츠 광고', '입자 시뮬레이션', '카이주 스케일 연출' 등의 키워드가 생성되어 지식이 쌓이는 것을 확인합니다.
자동화된 지식 축적 시스템: 안티그래비티
유튜브 콘텐츠 지식 자동화
안티그래비티(Anti-gravity)를 활용하면 유튜브 API와 연동하여 콘텐츠 업로드, 댓글 분석, 채널 분석 등 모든 정보를 가져올 수 있는 인공지능 에이전트를 구축할 수 있습니다.
- 에이전트 명령: 안티그래비티 에이전트(예: '레오')에게 '유튜브 API를 사용해서 나의 채널 모든 콘텐츠를 다 가져오고 아래 형태로 구조화해 지식화해 줘.'라고 명령합니다.
- 콘텐츠 추출 및 정리: 미리 준비된 구조화 템플릿을 입력하면, 에이전트는 유튜브 채널의 모든 영상(제목, 설명, 태그, 썸네일, 조회수, 좋아요, 댓글, 수익 등)을 추출하고 폴더에 정리합니다. (예: 183개의 영상 추출)
- 옵시디언 통합: 옵시디언에서 '보관함 관리하기'를 통해 해당 폴더를 연결하면, 추출된 유튜브 콘텐츠 데이터가 옵시디언 그래프 뷰에 자동으로 통합됩니다.
축적된 지식을 활용한 콘텐츠 기획
자동으로 축적된 지식을 바탕으로 새로운 콘텐츠를 기획할 수 있습니다.
- 새 폴더 생성 및 지식 이동: 새로운 옵시디언 폴더(예: '제2두뇌 지식 테스트')를 생성하고, 기존 유튜브 콘텐츠 지식 폴더를 이 새로운 폴더 안으로 이동시킵니다.
- 콘텐츠 기획 명령: 안티그래비티 대화창에 폴더 경로를 복사하여 붙여 넣고, '이 폴더에 있는 마크다운 전체를 분석해서 다음 유튜브 콘텐츠 알고리즘 터질 것 기획해 줘.'라고 명령합니다.
- 에이전트의 기획안 제시: 에이전트는 채널 콘텐츠 히스토리와 트렌드를 분석하여, 'ChatGPT 당장 해제하세요. 인터넷 없이 코딩하는 구글 무료 AI의 충격적인 실제 젬마 4 에이전트 에피소드 2'와 같은 다음 콘텐츠 기획안을 제시합니다.
이는 단순 인터넷 검색이 아닌, 사용자만의 지식과 경험을 바탕으로 에이전트가 분석하고 기획하는 과정입니다. 이러한 방식은 유튜브뿐만 아니라 웹사이트, 모바일 앱 등 다양한 데이터에 적용될 수 있습니다.
로컬 AI 모델 활용 및 비용 최적화
클라우드 기반 AI 모델 사용 시 발생하는 비용과 보안 문제를 해결하기 위해 젬마 4(Gemma 4)와 같은 로컬 AI 모델을 활용할 수 있습니다.
로컬 AI 모델 사용 방법
- 로컬 AI 환경 설정: 안티그래비티에서 `ollama`와 같은 로컬 AI 환경을 설정합니다. (관련 내용은 이전 강의를 참조하시기 바랍니다.)
- 로컬 AI 모델 호출: 대화창에 `@local` 태그를 사용하여 질문하면, 젬마 4와 같은 로컬 AI 모델이 답변을 생성합니다. (예: `@local 안녕 누구야?`를 입력하면 로컬 젬마 모델은 자신이 젬마 4임을 밝힙니다.)
이 방식은 클라우드 기반 AI 모델 사용 시 발생하는 토큰 비용을 절감하며, 개인 컴퓨터 내에서 직접 지식을 학습하고 답변을 생성하므로 보안성도 뛰어납니다. 기존 안티그래비티는 인터넷 연결 없이 작동하지 않는 한계가 있지만, 현재 인터넷 연결 없이도 로컬에서 젬마 4와 대화하고 파일을 생성하며 웹사이트까지 연동할 수 있는 시스템을 개발 중입니다. 이 시스템은 100% 보안 유지, 완전 무료, 인터넷 연결 없이도 작동하며 안티그래비티와 완벽하게 연동되는 장점을 제공합니다.
로컬 AI의 지식 통합 및 비용 최적화 테스트
젬마 4가 마크다운 지식을 효율적으로 가져오는지 테스트할 수 있습니다.
- 마크다운 지식 경로 지정: 마크다운 파일의 경로를 복사한 후, `@local` 태그와 함께 '젬마야 이 폴더 안에 있는 지식 마크다운 사용해서 다음 콘텐츠 기획해 줘.'라고 명령합니다.
- 젬마 4의 기획안 생성: 젬마 4는 해당 폴더의 모든 마크다운 파일을 읽고 분석하여 콘텐츠 기획안(핵심 목표, 타겟, 타겟 오디언스 등)을 구성합니다.
이 과정에서 가장 중요한 점은 젬마 4가 이 많은 지식을 한 번에 가져와서 모두 읽고 생성하는 동안 인풋 토큰이 전혀 사용되지 않아 비용이 최적화된다는 것입니다. 모든 작업이 로컬에서 이루어지기 때문에 클라우드 서비스 비용 부담 없이 강력한 AI 모델을 활용할 수 있습니다.
개인화된 지식 위키 에이전트 구축
궁극적으로는 사용자만의 지식을 모으고 구조화하며, 이를 바탕으로 개인화된 인공지능 모델을 구축하고 발전시키는 에이전트를 만드는 것이 목표입니다.
위키 에이전트 생성 및 스킬 추가
- 새 폴더 생성: 새로운 폴더(예: '위키 에이전트')를 생성합니다.
- `pRe_inforce` 스킬 추가: 이 폴더에 `pRe_inforce` 스킬을 추가합니다. (`pRe_inforce`는 지식이 영속적으로 축적되고 강화된다는 의미를 가집니다.)
`pRe_inforce` 스킬의 특징:
- 폴더 구조화 및 날짜별 보관
- 위키(프로젝트, 주제, 의사결정, 프롬프트, 이미지 등) 생성
- 메타데이터(지식 간 연결 그래프) 저장
- 깃허브(GitHub) 자동 업로드 기능
- 강화 학습 기반의 구조화 로직을 통해 지식들이 자동으로 분류되고 연결됩니다.
자동화된 지식 분류 및 저장
- 에이전트에게 명령: 안티그래비티에 `pRe_inforce` 에이전트를 연동하고, '위키 에이전트야, 오늘 지식 구조화하고 동기화해.'라고 명령합니다.
- 지식 자동 분류: 로우 폴더(대충 던져 놓은 마크다운 파일)가 '1인 기업', 'AI 비즈니스' 등 주제별로 자동으로 분류되어 위키 폴더 안에 체계적으로 저장됩니다.
- 지식 연결 확인: 옵시디언의 그래프 뷰를 통해 'AI 1인 기업 비즈니스 모델', '이미지 비디오' 등 지식들이 자동으로 연결되고 있음을 확인할 수 있습니다.
깃허브 동기화를 통한 지식 백업
컴퓨터 고장 등 만일의 사태에 대비하여 나만의 온라인 저장 공간인 깃허브에 지식을 백업하고 동기화하는 것이 중요합니다.
- 깃허브 저장소 생성: 깃허브(github.com)에 로그인 후 새로운 비공개 저장소(Private Repository)를 생성합니다. (예: 'Jason_Wiki' 또는 'Jason_pRe_inforce')
- 안티그래비티와 동기화: 저장소의 URL을 안티그래비티에 입력하여 푸시(Push)하면, 위키 에이전트 폴더의 모든 지식이 깃허브에 백업 및 동기화됩니다.
- 리드미 파일 자동 업데이트: 에이전트에게 '리드미 자세하게 설명 추가해 줘.'라고 명령하여 깃허브 저장소의 리드미(README) 파일을 자동으로 업데이트할 수 있습니다. 이는 '자동화된 가드너 지식의 파편을 읽고 스스로 성장해 나가는 영속적인 위키 엔진'과 같은 설명을 추가하여, 사용자뿐만 아니라 AI 에이전트 및 타인에게도 이해하기 쉬운 구조를 만듭니다.
이처럼 매일매일 지식을 마크다운 형태로 정리하고 데이터 구조화하여 젬마 4 또는 새롭게 나올 더 똑똑한 인공지능 모델들이 학습할 준비를 계속합니다. 일상, 사업 경험, 유튜브 자동화 기록 등을 직접 만들거나 자동화 에이전트에게 지시하여 지식 베이스에 추가할 수 있습니다. 이 과정은 나만의 인공지능 에이전트를 만들고, 이 친구들이 나 대신 일하고 콘텐츠를 만드는 미래를 준비하는 것입니다.
나만의 AI 에이전트 '레오'의 예시: 레오 에이전트는 일반적인 인공지능과 달리 10년치 뇌를 그대로 복제하여 42만 개로 쪼개진 지식 세포를 활용합니다. 이는 일반 AI가 그럴듯하게 거짓말하는 것과 달리, 사용자만의 철학과 노하우가 담긴 데이터를 기반으로 기술을 지원합니다. 이러한 시스템은 텔레그램 메시지 전송을 통해 사용자가 AI의 작업을 확인할 수 있도록 구축되어 있습니다.
결론적으로, 데이터를 계속 쌓고, 나만의 인공지능을 가진 사람과 그렇지 않은 사람 사이의 격차는 10년 후 엄청나게 벌어질 것입니다. 매일매일 지식의 '점'들을 쌓아가고 이를 구조화하여 개인화된 위키를 만들며, 이를 기반으로 각자의 개성, 삶, 철학, 지식이 담긴 인공지능 모델을 만드는 것이 앞으로 매우 중요해질 것입니다.