mage0535

Memory Sidecar 已成為生產 AI 工作流程中代理無關記憶體的關鍵元件。3.5.1 版標誌著從功能開發速度到營運成熟度的刻意轉變,針對在部署中所觀察到的真實世界痛點進行調整。本次發布未引入新的 API 或結構;相反地,它強化了執行時行為,讓您能在負載、網路波動與對抗條件下依然可靠地依賴它。

三個領域獲得重點關注:連線韌性、快取與可觀測性。這些皆可透過環境變數或掛載的設定檔進行配置,讓營運人員能依工作負載進行調整。

連線韌性

當後端記憶體儲存(例如 Redis 或 SQL 後端)變得無回應時,sidecar 現在會使用具指數退避重試的斷路器。斷路器在連續失敗次數達到可配置的門檻後會開啟,立即拒絕請求以防止連鎖超時。半開狀態會定期探測後端以確認是否恢復。重試包含抖動以避免雪崩效應。

environment:
  MEMORY_SIDECAR_RETRY_MAX: "3"
  MEMORY_SIDECAR_RETRY_BASE_DELAY_MS: "500"
  MEMORY_SIDECAR_CIRCUIT_BREAKER_THRESHOLD: "5"
  MEMORY_SIDECAR_CIRCUIT_BREAKER_HALF_OPEN_AFTER_MS: "10000"

Enter fullscreen mode Exit fullscreen mode

這些是保護 sidecar 與上游儲存所需的唯一參數。

近端快取層

讀取操作是大多數代理互動的熱門路徑。v3.5.1 新增具可配置 TTL 與每工作階段命名空間的 LRU 記憶體快取。這能將重複查詢的延遲從毫秒降至微秒,並降低儲存後端的負載。快取預設停用;請在分析您的工作負載後再啟用。

MEMORY_SIDECAR_CACHE_ENABLED=true
MEMORY_SIDECAR_CACHE_SIZE=10000
MEMORY_SIDECAR_CACHE_TTL_SECONDS=300

Enter fullscreen mode Exit fullscreen mode

命名空間確保工作階段特定的資料不會被提供給其他工作階段,即使發生快取碰撞亦然。

可觀測性

每個 gRPC 處理程式現在都會發出結構化日誌,並附有可從代理傳播的追蹤 ID。Prometheus 指標暴露於 /metrics,涵蓋請求延遲直方圖、快取命中/未命中比率、斷路器狀態轉換以及連線池使用率。專用的 /healthz/readyz 端點反映後端連線、快取以及 sidecar 內部狀態的健康狀況。

安全性預設值

所有 gRPC 連線皆預設強制使用 TLS。API 金鑰驗證為必填;金鑰必須透過 MEMORY_SIDECAR_API_KEY 環境變數或掛載於 /etc/memory-sidecar/key 的檔案提供。生產建置已移除偵錯端點。

升級途徑

若您透過 hermes-memory-installer 進行部署,v3.5.1 現為新安裝的預設映像。現有部署可更新映像標籤並加入新的環境變數。設定結構為向後相容,但請注意若缺少 MEMORY_SIDECAR_API_KEY 將導致 sidecar 在啟動時失敗 — 推出前請檢查您的密鑰。

這是一次純粹的強化發布。沒有新的記憶體操作、沒有結構變更,也沒有破壞性協定變更。升級以減少營運摩擦,並獲得在生產環境中除錯代理記憶體行為所需的可觀測性。