feat: 完成全量功能开发，包括前端管理后台与后端服务优化

此提交实现了完整的知识库管理系统：
1. 新增Vue3 + Antd Vue前端管理后台，包含登录、文档管理、检索、类目设置等完整页面
2. 重构后端LLM调用抽象层，支持Ollama与OpenAI兼容服务动态切换
3. 调整默认嵌入模型配置为本地bge-m3模式
4. 优化入库任务去重逻辑与缓存清理机制
5. 完善Docker镜像构建与docker-compose部署配置
6. 修复多项测试用例与兼容性问题
7. 新增运行时配置API，支持动态调整系统参数

app/core/ingest_tasks.py

@@ -6,10 +6,12 @@
 内存注册表为主（记录 status/created_at/updated_at/result/error），
 Redis 为持久镜像（key: ingest_task:{task_id}），每次状态迁移同步写入；
 Redis 不可用或写入失败仅记录 warning，不影响任务执行。
+
+文本去重委托给 app.core.dedup.get_dedup_strategy()，按 runtime_settings.dedup
+选择策略（none/sha256/simhash）。
 """
 
 import asyncio
-import hashlib
 import uuid
 from datetime import UTC, datetime
 from enum import StrEnum
@@ -18,6 +20,7 @@ from typing import Any
 import structlog
 
 from app.config import Settings
+from app.core.dedup import DEDUP_KEY_PREFIX, get_dedup_strategy
 from app.core.ingestion import Ingester, IngestionError
 from app.models.document import DocumentInput
 from app.services.redis import RedisCache
@@ -26,8 +29,6 @@ logger = structlog.get_logger()
 
 # Redis 任务状态 key 前缀
 REDIS_KEY_PREFIX = "ingest_task:"
-# Redis 文本去重 key 前缀（value 为已入库文档的 IngestionResult JSON）
-DEDUP_KEY_PREFIX = "dedup:sha256:"
 
 
 class IngestTaskStatus(StrEnum):
@@ -71,17 +72,17 @@ class IngestTaskManager:
     async def submit(self, doc: DocumentInput) -> str:
         """登记入库任务并后台执行，立即返回 task_id
 
-        文本去重：基于 doc.text 的 sha256 在 Redis 中查重；命中则直接复用旧
-        IngestionResult（仅置 deduplicated=True），不重跑流水线；未命中走原
-        异步入库流程，完成后写入去重记录供后续命中复用。Redis 不可用时跳过
-        去重，按原流程执行，不影响主流程。
+        文本去重：按 runtime_settings.dedup 选择策略（none/sha256/simhash）；
+        命中则直接复用旧 IngestionResult（仅置 deduplicated=True），不重跑流水线；
+        未命中走原异步入库流程，完成后写入去重记录供后续命中复用。
+        Redis 不可用或策略=none 时跳过，按原流程执行。
         """
         task_id = uuid.uuid4().hex
         now = _utc_now_iso()
-        text_hash = hashlib.sha256(doc.text.encode("utf-8")).hexdigest()
+        dedup = get_dedup_strategy(self._redis)
 
         # 1. 去重命中：直接置 done，复用旧结果，不调 _run
-        dedup_record = await self._lookup_dedup(text_hash)
+        dedup_record = await dedup.lookup(doc.text)
         if dedup_record is not None:
             result_dict = dict(dedup_record)
             result_dict["deduplicated"] = True
@@ -111,7 +112,7 @@ class IngestTaskManager:
             "error": None,
         }
         self._schedule_mirror(task_id)
-        background = asyncio.create_task(self._run(task_id, doc, text_hash))
+        background = asyncio.create_task(self._run(task_id, doc, dedup))
         self._background_tasks.add(background)
         background.add_done_callback(self._background_tasks.discard)
         logger.info("入库任务已登记", task_id=task_id, title=doc.title)
@@ -151,7 +152,7 @@ class IngestTaskManager:
                 raise TimeoutError(f"入库任务 {task_id} 在 {timeout}s 内未进入终态")
             await asyncio.sleep(0.01)
 
-    async def _run(self, task_id: str, doc: DocumentInput, text_hash: str) -> None:
+    async def _run(self, task_id: str, doc: DocumentInput, dedup: Any) -> None:
         """后台执行入库：并发限流 + 阶段状态推进 + 结果/错误落账 + 去重记录写入"""
         async with self._semaphore:
             try:
@@ -185,34 +186,9 @@ class IngestTaskManager:
                     result=result_dict,
                 )
                 self._schedule_mirror(task_id)
-                await self._record_dedup(text_hash, result_dict)
+                await dedup.record(doc.text, result_dict)
                 logger.info("入库任务完成", task_id=task_id)
 
-    async def _lookup_dedup(self, text_hash: str) -> dict[str, Any] | None:
-        """查询文本去重记录；Redis 不可用或异常时降级为未命中"""
-        if self._redis is None:
-            return None
-        try:
-            return await self._redis.get_json(f"{DEDUP_KEY_PREFIX}{text_hash}")
-        except Exception:
-            logger.warning(
-                "去重记录查询失败，降级为未命中", text_hash=text_hash, exc_info=True
-            )
-            return None
-
-    async def _record_dedup(self, text_hash: str, result_dict: dict[str, Any]) -> None:
-        """写入文本去重记录（含完整 IngestionResult），供后续命中复用；失败仅告警"""
-        if self._redis is None:
-            return
-        try:
-            await self._redis.set_json(
-                f"{DEDUP_KEY_PREFIX}{text_hash}",
-                result_dict,
-                ttl=self._settings.ingest_task_ttl_done,
-            )
-        except Exception:
-            logger.warning("去重记录写入失败", text_hash=text_hash, exc_info=True)
-
     def _finish_failed(self, task_id: str, error: dict[str, Any]) -> None:
         """将任务置为 failed 并记录错误信息"""
         self._tasks[task_id].update(