make sure citation has no hallucination

Author: lyzx2001

README.md

@@ -57,6 +57,7 @@ Give it a research idea and a target venue. ARK handles the rest.
 | **Compute** | Slurm • Local • AWS • GCP • Azure | Run experiments anywhere |
 | **Deep Research** | Gemini Deep Research integration | Literature survey before writing starts |
 | **Nano Banana** | AI figure generation | Concept diagrams via Gemini image models |
+| **Citation Integrity** | API-first citations • dual-source verification | DBLP/CrossRef — LLM never writes BibTeX |
 | **Smart Recovery** | Checkpoint/resume • meta-debug • self-repair | Handles LaTeX errors, experiment failures |
 | **Cost Tracking** | Per-iteration and cumulative reports | Know exactly what each iteration costs |
 
@@ -253,7 +254,7 @@ See [TODO.md](TODO.md) for the full list. Highlights:
 - **Cloud compute verification** — AWS/GCP/Azure compute backends exist but are not yet end-to-end validated
 - **Edge & custom environments** — support air-gapped HPC, Jetson, limited-connectivity labs
 - **Figure layout quality** — column overflow, font size mismatch, subplot alignment issues
-- **Citation authenticity** — LLM-generated references can be hallucinated; need post-write verification against Semantic Scholar / CrossRef
+- **Citation integrity** — API-first citation system (DBLP/CrossRef), LLM never writes BibTeX, per-iteration verification
 - **Integration testing** — no end-to-end pipeline test yet
 
 ## License

README_ar.md

@@ -57,6 +57,7 @@
 | **الحوسبة** | Slurm • Local • AWS • GCP • Azure | تشغيل التجارب في أي مكان |
 | **البحث المعمّق** | تكامل Gemini Deep Research | مسح أدبي قبل بدء الكتابة |
 | **Nano Banana** | توليد رسوم بالذكاء الاصطناعي | مخططات مفاهيمية عبر نماذج Gemini |
+| **سلامة الاستشهادات** | استشهادات عبر API أولاً • تحقق من مصدرين | DBLP/CrossRef — LLM لا يكتب BibTeX |
 | **استرداد ذكي** | نقاط حفظ • تصحيح تلقائي • إصلاح ذاتي | معالجة أخطاء LaTeX وفشل التجارب |
 | **تتبع التكلفة** | تقارير لكل تكرار وتراكمية | معرفة دقيقة بتكلفة كل تكرار |
 
@@ -253,7 +254,7 @@ pip install -e ".[research]"       # + Gemini Deep Research و Nano Banana
 - **التحقق من الحوسبة السحابية** — أكواد AWS/GCP/Azure موجودة لكن لم تُختبر من البداية للنهاية
 - **البيئات المحدودة والمخصصة** — دعم HPC بدون إنترنت، Jetson، مختبرات ذات اتصال محدود
 - **جودة تنسيق الرسوم** — تجاوز عرض العمود، عدم تطابق حجم الخط، مشاكل محاذاة الرسوم الفرعية
-- **مصداقية الاستشهادات** — المراجع المولّدة بالذكاء الاصطناعي قد تكون وهمية؛ يلزم التحقق بعد الكتابة عبر Semantic Scholar / CrossRef
+- **سلامة الاستشهادات** — نظام استشهادات عبر API أولاً (DBLP/CrossRef)، LLM لا يكتب BibTeX، تحقق تلقائي كل تكرار
 - **اختبار التكامل** — لا يوجد اختبار شامل للمسار بعد
 
 ## الرخصة

README_zh.md

@@ -57,6 +57,7 @@ ARK 协调 8 个专业 AI 智能体来**规划实验、编写代码、运行基
 | **计算后端** | Slurm • Local • AWS • GCP • Azure | 在任何平台运行实验 |
 | **深度调研** | Gemini Deep Research 集成 | 写作前自动进行文献综述 |
 | **Nano Banana** | AI 图表生成 | 通过 Gemini 图像模型生成概念图 |
+| **引用完整性** | API-first 引用 • 双源验证 | DBLP/CrossRef — LLM 不写 BibTeX |
 | **智能恢复** | 断点续传 • 元调试 • 自修复 | 处理 LaTeX 错误、实验失败 |
 | **成本追踪** | 每次迭代和累计报告 | 精确了解每次迭代的开销 |
 
@@ -253,7 +254,7 @@ pip install -e ".[research]"       # + Gemini Deep Research 和 Nano Banana
 - **云计算验证** — AWS/GCP/Azure 计算后端代码已有，但未经端到端验证
 - **边缘与定制环境** — 支持离线 HPC、Jetson、受限网络实验室
 - **图表排版质量** — 列宽溢出、字体大小不匹配、子图对齐问题
-- **引用真实性** — LLM 生成的参考文献可能是幻觉；需要写后通过 Semantic Scholar / CrossRef 验证
+- **引用完整性** — API-first 引用系统（DBLP/CrossRef），LLM 不写 BibTeX，每轮迭代自动验证
 - **集成测试** — 尚无端到端 pipeline 测试
 
 ## 许可证

TODO.md

@@ -53,15 +53,16 @@
 - Need: stricter post-compilation visual checks — compare rendered PDF region against template spec
 - Consider: pixel-level overlap detection for text/figure collisions
 
-### [ ] Citation authenticity & hallucination
-- LLM-generated references are frequently hallucinated (wrong author, wrong year, non-existent papers)
-- Current pipeline has no citation verification step
-- Need: post-write citation verification phase
-  - Cross-check each `\cite{}` entry against Semantic Scholar / CrossRef / Google Scholar API
-  - Verify: title exists, authors match, year matches, DOI resolves
-  - Flag or remove unverifiable citations
-- Need: researcher agent should provide real BibTeX entries from actual database queries, not LLM memory
-- Consider: mandatory `references.bib` sourced exclusively from API-fetched entries
+### [x] Citation authenticity & hallucination
+- Implemented API-first citation system (`ark/citation.py`)
+- LLM never writes BibTeX — all entries fetched from DBLP / CrossRef official APIs
+- Search cascade: DBLP → CrossRef → arXiv → Semantic Scholar
+- Researcher agent selects papers from API-verified candidate list only
+- Per-iteration verification: every review cycle re-verifies `references.bib`
+- Dual-source cross-confirmation (DBLP + CrossRef)
+- Preprint → published version auto-upgrade
+- Unused citation cleanup (removes uncited entries from `.bib`)
+- CLI tools: `ark cite-check`, `ark cite-search`, `ark cite-debug`
 
 ### [ ] Table formatting
 - Tables can overflow column/page width in two-column venues

ark/agents.py

@@ -106,7 +106,7 @@ def _run(self):
 AGENT_CONTEXT_PROFILES = {
     "reviewer":       {"memory": True,  "deep_research": False, "prior_context": False, "context_files": False},
     "planner":        {"memory": True,  "deep_research": False, "prior_context": True,  "context_files": False},
-    "writer":         {"memory": False, "deep_research": False, "prior_context": True,  "context_files": False},
+    "writer":         {"memory": False, "deep_research": True,  "prior_context": True,  "context_files": False},
     "experimenter":   {"memory": False, "deep_research": True,  "prior_context": False, "context_files": True},
     "researcher":     {"memory": False, "deep_research": True,  "prior_context": False, "context_files": True},
     "visualizer":     {"memory": False, "deep_research": False, "prior_context": False, "context_files": False},