Mitos bahwa python "mengelola memori untukmu" adalah alasan mengapa agen-agenmu kehabisan memori (OOM) setelah 4 jam uptime

menjalankan 24 multi-agen secara paralel bulan lalu, membakar 10x token dari satu sesi untuk output yang TIDAK berguna sama sekali
masalah sebenarnya bukan tokennya, melainkan memori yang tidak diawasi
python menggunakan reference counting plus pengumpul sampah siklik. terdengar baik sampai kamu memuat array numpy melalui ekstensi C yang tidak mengurangi referensi dengan benar. objek-objek itu TIDAK PERNAH dikumpulkan. mereka hanya duduk di sana, tumbuh, diam-diam
setiap 100 token konteks yang diproses agen jangka panjangmu, itu adalah alokasi tensor lain yang mungkin tidak dilepaskan. kalikan itu dengan 24 sesi bersamaan dan kamu kebocoran 400MB/jam di hari yang baik
> cukup tambahkan RAM lebih banyak
ya itu $30k/bulan dalam komputasi untuk mengkompensasi sesuatu yang tracemalloc akan tangkap dalam 10 menit.