Lewati ke konten
Chatbot Hehe: RAG AI Assistant

Overview

Chatbot Hehe adalah RAG (Retrieval-Augmented Generation) chatbot pribadi. Monolit Next.js lama (chatbot-hehe) sudah tidak dipakai; sistem saat ini dipisah menjadi dua repo: backend FastAPI (chatbot-api) dan frontend Vite SPA (chatbot-web). LLM memakai DeepSeek V4.1 Flash via OpenRouter dengan embedding text-embedding-3-small, retrieval di atas Supabase Postgres + pgvector.

Tech Stack:

  • Backend (chatbot-api) — FastAPI + Python 3.12, uv, pytest, ruff
  • Frontend (chatbot-web) — Vite SPA, React 19, TypeScript, TanStack Router + React Query, Zustand, Tailwind CSS 4 + shadcn/ui
  • Data — Supabase (Postgres + pgvector, Auth, Storage privat knowledge-files), Redis (queue + cache)
  • RAG — PyMuPDF4LLM + Tesseract OCR (ind+eng), ColBERT rerank in-process (FastEmbed) dengan fallback cosine, tier Jev opsional
  • Deploy — Docker Compose (dev: Redis + worker; prod: full stack, nginx untuk SPA), Jenkins

Fitur Utama

Ingest Dokumen Async

Upload via POST /api/v1/documents langsung mengembalikan 202 Accepted setelah objek disimpan ke Storage privat dan baris knowledge_files berstatus processing. Parsing (hybrid OCR per halaman), chunking, embedding, dan upsert chunk berjalan sesudahnya — via worker ARQ di Redis (INGEST_QUEUE_ENABLED=true) atau BackgroundTasks in-process sebagai fallback. Progress per tahap (extracting, embedding, storing) dipolling lewat GET /api/v1/documents/:id/status, dengan watchdog 30 menit untuk job yang macet.

Chat Agentic via SSE

POST /api/v1/chat/stream memvalidasi conversation, kategori, dan @mentions, lalu satu structured call analyze_query (rewrite maks 3, is_clear, is_enumeration). Hasil ambigu mengembalikan event klarifikasi + pending_clarification; pertanyaan enumerasi (“sebutkan daftar pustaka”) mengambil section by heading tanpa vector search; query standar memakai vector search per sub-query plus session attachments dan memory notes, satu joint rerank (colbert,cosine, top 20), lalu token SSE + event sources dan DONE.

Enumeration & Session Grounding

Section answers skip rerank (chunk dipilih by heading, bukan similarity) dan fallback ke document-ordered scan saat heading tidak cocok. @file mentions mem-pin chunk per file melewati threshold rerank, dan file yang dilampirkan di satu sesi ikut pool retrieval tanpa masuk library.

AI Memory

Selain dokumen, API menyimpan memory notes per user (fakta, keputusan, preferensi) — ditulis otomatis oleh job ekstraksi pasca-jawaban dan manual via CRUD POST /api/v1/memories. Memory ikut pool kandidat dan rerank yang sama dengan bobot sumber terlihat (user_knowledge vs memory); dokumen mengalahkan ingatan, pesan live menang atas keduanya.

Frontend

TanStack Router SPA dengan Google OAuth via Supabase Auth di browser, proxy Vite /api/* ke port 8000, halaman welcome, daftar chat, conversation, archived chats, knowledge files, kategori, memories, dan profil (dark theme). Image Docker produksi menyajikan SPA statis via nginx dengan deep-path fallback ke index.html.

Arsitektur

Dua proses dengan tanggung jawab tegas: retrieval + rerank berjalan di proses API (stream SSE tidak boleh antre di belakang queue ingest max_jobs=1), sementara ekstraksi memory dan summarisation tiap 10 pesan berjalan setelah jawaban via worker/background task agar tidak menambah latensi. Semua endpoint data memakai Authorization: Bearer <token Supabase> dengan RLS tetap aktif; service-role key hanya untuk skrip maintenance/evaluasi. Akses file memakai signed URL yang di-cache per user di Redis (45 menit, validitas 1 jam).

Evaluasi & Operasional

Kasus golden hand-reviewed di evals/golden.yaml (evals/run.py --target fastapi --ranker cosine,colbert), baseline k6 di bench/, suite pytest + ruff check, dan skrip reingest_all.py / requeue_ingest.py untuk operasional ulang dokumen.