Re: programming::algo::bash - split list in buckets

--===============0089877957184424826==
Content-Type: multipart/signed; protocol="application/pkcs7-signature";
	micalg=sha-256; boundary="------------ms060807000100060507080000"

--------------ms060807000100060507080000
Content-Type: text/plain; charset=utf-8; format=flowed
Content-Language: en-US
Content-Transfer-Encoding: quoted-printable

On 7/2/19 1:45 PM, George-Cristian B=C3=AErzan wrote:
> De ce nu pot sa fie exact egale?
pai marimea fisierelor variaza puternic .. in cazul curent sunt 7731=20
fisiere cu marimi intre 357k si 931M (3.9T in total)

fisierele sunt binare si nu pot sa fac 'cat' la toata colectia si apoi=20
split .. astea le procesez in batchuri dar unele batchuri sunt muult mai =

mari ca altele si atunci o parte din joburi se termina repede si ramane=20
o coada lunga...
as putea sa trimit joburi cu fiecare fisier separat dar apoi am o=20
problema cu merge-ingul rezultatelor




>=20
> On Tue, 2 Jul 2019 at 13:38, Adrian Sevcenco <[email protected]>
> wrote:
>=20
>> Salut! Am o necesitate interesanta : mi-ar fi ff de folos sa pot impar=
ti
>> o lista de fisiere in sub-colectii __aproximativ__ egale (sa zic o
>> colectie de la 4 la 8k de fisiere in 200 buckets).. problema e ca nu a=
m
>> nici o idee de unde sa incep (ca si algorithm)
>> ca si implementare vad eu cum o fac in bash sau python, dar algoritmul=
 e
>> problema.
>>
>> Multumesc frumos!!
>> Adrian
>>
>> _______________________________________________
>> Offtopic mailing list
>> [email protected]
>> http://lists.lug.ro/mailman/listinfo/offtopic_lists.lug.ro
>>
>=20


--------------ms060807000100060507080000--


--===============0089877957184424826==
Content-Type: text/plain; charset="us-ascii"
MIME-Version: 1.0
Content-Transfer-Encoding: 7bit
Content-Disposition: inline

_______________________________________________
Offtopic mailing list
[email protected]
http://lists.lug.ro/mailman/listinfo/offtopic_lists.lug.ro

--===============0089877957184424826==--