Re: programming::algo::bash - split list in buckets

--===============4624100637495814245==
Content-Type: multipart/signed; protocol="application/pkcs7-signature";
	micalg=sha-256; boundary="------------ms020205020602010705020807"

--------------ms020205020602010705020807
Content-Type: text/plain; charset=utf-8; format=flowed
Content-Language: en-US
Content-Transfer-Encoding: quoted-printable

On 7/2/19 2:09 PM, George-Cristian B=C3=AErzan wrote:
> Si vrei sa fie bucket-urile de marimi similare? Pai, vezi cat de mari s=
unt
> fisierele si apoi le pui in liste pana treci de 3.9T/200, treci la
> urmatoarea. Nu o sa fie exact, dar o sa fie good enough.
aha, ok.. ma gandisem la asta dar am zis ca e mai din topor, asa ca mai=20
bine intreb poate exista o metoda bine cunoscuta pentru a face asa ceva

Merci!!
Adrian


>=20
> On Tue, 2 Jul 2019 at 14:03, Adrian Sevcenco <[email protected]>
> wrote:
>=20
>> On 7/2/19 1:45 PM, George-Cristian B=C3=AErzan wrote:
>>> De ce nu pot sa fie exact egale?
>> pai marimea fisierelor variaza puternic .. in cazul curent sunt 7731
>> fisiere cu marimi intre 357k si 931M (3.9T in total)
>>
>> fisierele sunt binare si nu pot sa fac 'cat' la toata colectia si apoi=

>> split .. astea le procesez in batchuri dar unele batchuri sunt muult m=
ai
>> mari ca altele si atunci o parte din joburi se termina repede si raman=
e
>> o coada lunga...
>> as putea sa trimit joburi cu fiecare fisier separat dar apoi am o
>> problema cu merge-ingul rezultatelor
>>
>>
>>
>>
>>>
>>> On Tue, 2 Jul 2019 at 13:38, Adrian Sevcenco <[email protected]=
>
>>> wrote:
>>>
>>>> Salut! Am o necesitate interesanta : mi-ar fi ff de folos sa pot imp=
arti
>>>> o lista de fisiere in sub-colectii __aproximativ__ egale (sa zic o
>>>> colectie de la 4 la 8k de fisiere in 200 buckets).. problema e ca nu=
 am
>>>> nici o idee de unde sa incep (ca si algorithm)
>>>> ca si implementare vad eu cum o fac in bash sau python, dar algoritm=
ul e
>>>> problema.
>>>>
>>>> Multumesc frumos!!
>>>> Adrian


--------------ms020205020602010705020807--


--===============4624100637495814245==
Content-Type: text/plain; charset="us-ascii"
MIME-Version: 1.0
Content-Transfer-Encoding: 7bit
Content-Disposition: inline

_______________________________________________
Offtopic mailing list
[email protected]
http://lists.lug.ro/mailman/listinfo/offtopic_lists.lug.ro

--===============4624100637495814245==--