Re: Effizient ueber große Mengen von Objekten iterieren

Am 20.11.09 23:46, schrieb Michael Hierweck:
> Andreas Jung wrote:
>   
>> Am 20.11.09 10:22, schrieb Michael Hierweck:
>>     
>>> Hallo allerseits,
>>>
>>> kann man in Plone 3.3.x effizienter über viele Objekte iterieren, als so:
>>>
>>>
>>> brains = catalog.searchResults([...])
>>> for brain in brains:
>>> 	object = brain.getObject()
>>> 	[...]
>>>   
>>>       
>> Vielleicht hilft ein abschliessendes
>>
>> object._p_deactivate()
>>
>>     
> Danke, das hat noch mal (Testlauf soeben durch) 10-20% Ersparnis gebracht.
>
> Entscheidender Faktor bleibt aber transaction.abort().
>
> Kann man bei "transaction" irgendwie herausfinden, welche Daten als in
> der Transaktion modifiziert vorgehalten werden? Vielleicht findet/n sich
> ja so der/die verborgene(n) Übeltäter.

Schau Dir die Größe Deiner Data.fs vor und nach der Aktion an. In
unserer Zope
Version haben wir im ZEO/ServerStub.py zusätzlichen Logging Code, den
wir getrennt
für Schreiben und Lesen dediziert einschalten können.

Deine Beobachtung widerspricht meiner Erfahrung. Selbst dicke und fette
langlaufende
Aktionen (inkl. Reinidizierungsaktionen mit mehreren hunderttausend
Objekten) haben
i.A. einen konstanten Speicherverbrauch...es sei denn Du hast irgendwas
an Drittcode
drin, der ein Speicherloch hat welches im Laufe einer normalen
Lebensdauer einer Zope-Instanz
für ein gemächtliches Speicherwachstum sorgt aber bei Massenaktionen
direkt zum GAU
führt.

Andreas



_______________________________________________
zope mailing list
[email protected]
https://mail.dzug.org/mailman/listinfo/zope

begin:vcard
fn:Andreas Jung
n:Jung;Andreas
org:ZOPYX Ltd. & Co. KG
adr;quoted-printable:;;Charlottenstr. 37/1;T=C3=BCbingen;;72070;Germany
email;internet:[email protected]
title:CEO
tel;work:+49-7071-793376
tel;fax:+49-7071-7936840
tel;home:+49-7071-793257
x-mozilla-html:FALSE
url:www.zopyx.com
version:2.1
end:vcard