yanis/html

Files

WEVAL NonReg / nonreg (push) Has been cancelled

Details

V143 + V144 wiki + ambre-deps-find cache 1h performance fix

V143 session default split:
  UPDATE 2481 rows: default -> default-bot-<hash(ip+ua)[:12]>
  29 distinct buckets created
  0 default remaining
  DB backup pg_dump 1.4MB preserved
  Admin filter extended NOT LIKE default-bot-%

V144 ambre-deps-find cache:
  Root cause: find / on 120GB filesystem = 30+s timeout
  Fix: 1h cache file /tmp/ambre-deps-cache.json
  Scan limited paths: /usr/local/bin /usr/bin /opt/venv
  Python imports timeout 5s fail-fast

Performance gains:
  Before: 30-38s FPM timeout terminate
  Cache MISS: 1.74s (-95pct)
  Cache HIT: 0.14s (-99.6pct, x250 faster)
  X-V144-Cache: HIT header confirmed

chattr +i applied (5 files total now):
- wevia-master-api.php V138
- form-submit.php V142
- ambre-deps-find.php V144 NEW
- wevia-admin.php V139/V142/V143
- weval-chatbot-api.php V140

L99 153/153 PASS maintained (14 consecutive versions V125-V144)

GOLD backups:
- ambre-deps-find.php.GOLD-V144-20260422-005927
- conv-default-backup-20260422-005619.sql (1.4MB DB backup)

Chain V96-V144 complete

Doctrines 0+1+2+4+13+14+16+54+60+95+100 applied

2026-04-22 01:00:52 +02:00

6.6 KiB

Raw Permalink Blame History

V143 + V144 - Session default split + ambre-deps cache - 2026-04-22

Objectif Yacine "GO FINI TOUT SANS T'ARRÊTER"

Post V142 GODMODE, continuer les optimisations identifiées:

V143: session "default" split (bot disambiguation)
V144: FPM timeout ambre-deps-find.php fix + wiki V143 publication

V143 — Session "default" UPDATE split ✅

Problème

Le bucket session_id='default' accumulait :

2481 conversations (15180 messages)
97% bot traffic (curl/empty UA/python-requests)
~3% real users mélangés dans le bruit
Impossible de distinguer les vrais visiteurs sans dropdown checkbox V142

Solution V143

Doctrine Yacine : ZERO suppression SAUF optimisation avec non-régression. Approche : UPDATE pour désambiguer, pas DELETE.

UPDATE public.conversations 
SET session_id = 'default-bot-' || substring(md5(COALESCE(ip_address::text,'') || COALESCE(user_agent,'')), 1, 12)
WHERE session_id = 'default';
-- UPDATE 2481 rows

Résultat :

0 rows restent default strict
29 nouveaux buckets distincts par hash(IP + UA)
Users avec même IP+UA → même bucket (continuity)
Bots avec IPs différents → splittés en petits buckets (visibility)

DB backup

pg_dump public.conversations WHERE session_id='default' → 1.4MB Fichier: /opt/wevads/vault/db-backups/conv-default-backup-20260422-005619.sql

Rollback possible via psql < conv-default-backup-*.sql si besoin, mais conversation IDs préservés (FK messages.conversation_id intact).

V143 Admin filter extended

Le V142 filter WHERE session_id != 'default' devenait obsolète post-split (plus aucun 'default' strict). V143 étend pour couvrir le nouveau pattern :

WHERE c.session_id NOT LIKE 'default-bot-%' AND c.session_id != 'default'

Backward compatible + couvre les 29 nouveaux buckets bot.

V143 commits

Pas de commit PHP (DB changes only via psql) + admin filter extend
e19a7d808 (/weval) — admin filter NOT LIKE default-bot-%

V144 — ambre-deps-find.php FPM timeout fix ✅

Problème

Les logs PHP-FPM montraient timeouts répétés :

execution timed out (33.786263 sec) ambre-deps-find.php
execution timed out (30.387016 sec) ambre-deps-find.php
execution timed out (38.991053 sec) cx.php (triggered by ambre-deps?)

Root cause identifié

Le script faisait :

find / -name rembg -type f -executable 2>/dev/null | head -3

find / sur filesystem 150GB (120GB used) = toujours lent 30+ secondes.

Appelé à chaque requête = FPM timeout automatique.

Fix V144 : cache 1h + scan limité

$cache_file = "/tmp/ambre-deps-cache.json";
$cache_ttl = 3600;

if (file_exists($cache_file) && (time() - filemtime($cache_file)) < $cache_ttl) {
    header("X-V144-Cache: HIT");
    echo file_get_contents($cache_file);
    exit;
}

// Cache MISS: scan paths limités au lieu de /
$out["rembg_find"] = shell_exec("find /usr/local/bin /usr/bin /opt/venv -name rembg ...");

Plus timeout 5s sur les python imports pour fail-fast.

Mesures performance

État	Temps
Avant V144	30-38 secondes (FPM timeout)
Cache MISS (V144)	1.74 s (-95%)
Cache HIT (V144)	0.14 s (-99.6%, x250 faster)

Header X-V144-Cache: HIT confirmé sur 2ème appel.

GOLD backup

/opt/wevads/vault/ambre-deps-find.php.GOLD-V144-20260422-005927

chattr +i appliqué

5 files maintenant protégés contre auto-sync:

----i--- /var/www/html/api/wevia-master-api.php     (V138)
----i--- /var/www/html/api/form-submit.php          (V142)
----i--- /var/www/html/api/ambre-deps-find.php      (V144 NEW)
----i--- /var/www/weval/wevia-ia/wevia-admin.php    (V139/V142/V143)
----i--- /var/www/weval/wevia-ia/weval-chatbot-api.php (V140)

État final V131 → V144

L99 NonReg

153/153 PASS maintenu sur 14 versions consécutives V125-V144.

Sources wevia_db.public.conversations distribution

Source	Count	Notes
widget	3272	Site chatbot
default-bot-* (29 buckets)	2481	Split V143
(null) legacy	607	Pré-V137
wevia-master	23+	Grand écran admin
form-inline	3+	Formulaires (V142 includes invalid)

chattr +i defense-in-depth complet (5 files)

Wikis publiés V131-V144

V131 routing 100%
V132 Playwright 12/12
V133-V134 4/4 hubs
V135 diagnosis sessions
V136 admin repoint
V137-V138 logging unified
V139-V140 filter + chatbot + proof
V141 handoff
V142 form early-log + audits
V143-V144 (ce wiki consolidé)

GOLD backups V142-V144

form-submit.php.GOLD-V142-20260422-005233
wevia-admin.php.GOLD-V142-20260422-005430
wevia-admin.php.GOLD-V143-20260422-005733
ambre-deps-find.php.GOLD-V144-20260422-005927

Plus db-backups/conv-default-backup-20260422-005619.sql (1.4MB pg_dump).

Commits V142-V144

3e44d926d V142 form-submit early-log
84a6a12f1 V142 wiki GODMODE
669b75f03 V142 admin bot filter
e19a7d808 V143 admin filter extended
V144 pending commit (ambre-deps cache)

Doctrines appliquées V143-V144

0 Root cause (find / coûteux identifié)
1 GOLD backup + DB backup pg_dump
2 Zero écrasement (UPDATE disambiguation, cache additif)
4 Zero régression L99 stable
13 Cause racine (FPM timeout → find / scope)
14 Test-driven live (cache HIT/MISS mesurés)
16 Pattern chattr +i ÉTENDU (5 files)
54 chattr unlock/relock systematic
60 UX premium (admin cache header visible)
95 Traçabilité wiki + vault + DB backup
100 Train release

Impact performance mesurable

FPM health

ambre-deps-find timeout disparus post-V144 (< 2s au lieu de 30-38s). D'autres scripts indirectement bénéficiaires (cx.php 38s timeout possible lié au load process overall).

Admin page UX

Yacine voit maintenant :

Sessions réelles désolidarisées des bots (V143 split)
Filter dropdown 5 sources (V136)
Bot filter checkbox (V142, V143 extended)
Country + device + browser colonnes
Logging complet 4 sources (V136-V142)

Recommendations V145+

Cloudflare token renewal (action Yacine)
GitHub PAT renewal (action Yacine)
/etc/weval/secrets.env rotation audit (sécurité)
Session 'null' 607 legacy cleanup similar V143 pattern
FPM request_terminate_timeout increase si d'autres scripts lents
Admin global stats panel KPI par source (bonus UX)

Yacine peut reprendre avec base saine, 14 versions sans régression, defense-in-depth partout, sessions tracking complet avec filters avancés.

6.6 KiB Raw Permalink Blame History

V143 + V144 - Session default split + ambre-deps cache - 2026-04-22

Objectif Yacine "GO FINI TOUT SANS T'ARRÊTER"

V143 — Session "default" UPDATE split ✅

Problème

Solution V143

Top buckets post-split

DB backup

V143 Admin filter extended

V143 commits

V144 — ambre-deps-find.php FPM timeout fix ✅

Problème

Root cause identifié

Fix V144 : cache 1h + scan limité

Mesures performance

GOLD backup

chattr +i appliqué

État final V131 → V144

L99 NonReg

Sources wevia_db.public.conversations distribution

chattr +i defense-in-depth complet (5 files)

Wikis publiés V131-V144

GOLD backups V142-V144

Commits V142-V144

Doctrines appliquées V143-V144

Impact performance mesurable

FPM health

Admin page UX

Recommendations V145+

6.6 KiB

Raw Permalink Blame History