Auto-weka questions

Hello,

I recently downloaded auto-weka and I have some problems.

First of all, when I ran it for 3 hours the results were very 
satisfying:

                  TP Rate  FP Rate  Precision  Recall   F-Measure  MCC    
   ROC Area  PRC Area  Class
                  0,875    0,091    0,906      0,875    0,890      0,784  
   0,892     0,855     1
                  0,909    0,125    0,879      0,909    0,894      0,784  
   0,892     0,844     2
Weighted Avg.    0,892    0,108    0,892      0,892    0,892      0,784  
   0,892     0,850

I noticed that almost every metric has the same number (0.892 or 
1-0.892) as a result, is this a problem? What does it mean about my 
data?

After that, I gave auto-weka more time and ran it for 3 days. It chose 
something whole different and the results were not good:

                  TP Rate  FP Rate  Precision  Recall   F-Measure  MCC    
   ROC Area  PRC Area  Class
                  0,760    0,207    0,786      0,760    0,773      0,553  
   0,868     0,874     1
                  0,793    0,240    0,768      0,793    0,780      0,553  
   0,868     0,860     2
Weighted Avg.    0,776    0,224    0,777      0,776    0,776      0,553  
   0,868     0,867

How can this happen, getting worse results after trying way more 
algorithms? Could this be an overfitting problem?

After that, I tried to run the "Explorer" myself using the algorithm and 
parameters chosen by auto-weka during the first time. The results were 
surprisingly worse:

                  TP Rate  FP Rate  Precision  Recall   F-Measure  MCC    
   ROC Area  PRC Area  Class
                  0,745    0,222    0,771      0,745    0,758      0,524  
   0,762     0,702     1
                  0,778    0,255    0,754      0,778    0,766      0,524  
   0,762     0,697     2
Weighted Avg.    0,762    0,238    0,762      0,762    0,762      0,524  
   0,762     0,700

Again, how can this happen? Shouldn't the results be the same as those 
from auto-weka?

I would also like to note that the parameters provided to me by 
auto-weka were different than those that I had to complete.
This is what auto-weka suggested:

AttributeSelection as = new AttributeSelection();
ASSearch asSearch = 
ASSearch.forName("weka.attributeSelection.GreedyStepwise", new 
String[]{"-R"});
as.setSearch(asSearch);
ASEvaluation asEval = 
ASEvaluation.forName("weka.attributeSelection.CfsSubsetEval", new 
String[]{"-L"});
as.setEvaluator(asEval);
as.SelectAttributes(instances);
instances = as.reduceDimensionality(instances);
Classifier classifier = 
AbstractClassifier.forName("weka.classifiers.functions.SMO", new 
String[]{"-C", "1.2053705009341873", "-N", "0", "-K", 
"weka.classifiers.functions.supportVector.Puk -S 6.847617780275504 -O 
0.5836019537245328"});
classifier.buildClassifier(instances);

And this is what I had to do (I chose the default values for the 
parameters not provided by auto-weka):

weka.classifiers.meta.AttributeSelectedClassifier -E 
"weka.attributeSelection.CfsSubsetEval -L -P 1 -E 1" -S 
"weka.attributeSelection.GreedyStepwise -R -T -1.7976931348623157E308 -N 
-1 -num-slots 6" -W weka.classifiers.functions.SMO -- -C 
1.2053705009341873 -L 0.001 -P 1.0E-12 -N 0 -V -1 -W 1 -K 
"weka.classifiers.functions.supportVector.Puk -O 0.5836019537245328 -S 
6.847617780275504 -C 250007" -calibrator 
"weka.classifiers.functions.Logistic -R 1.0E-8 -M -1 -num-decimal-places 
4" -do-not-check-capabilities

Have I done something wrong?

Lastly, I would suggest adding MCC as an option for the metric to 
optimise. It has been recently suggested that it is one of the best 
metrics for classification problems.

Thank you in advance,

Christina Emmanouil

----------------------[ Disclaimer (in UTF8) ]----------------------------------
Το παρόν μήνυμα ενδέχεται να περιλαμβάνει εμπιστευτικές ή/και απόρρητες
πληροφορίες και απευθύνεται αποκλειστικά στους αποδέκτες του.
Σε περίπτωση που το παρόν μήνυμα περιέλθει σε εσάς από λάθος,
παρακαλούμε να μην το χρησιμοποιήσετε, αντιγράψετε, διανείμετε ή παραδώσετε
σε οποιονδήποτε είτε στο σύνολό του είτε μέρος του, ούτε να προβείτε σε
οποιαδήποτε περαιτέρω ενέργεια βάσει αυτού. Στην περίπτωση αυτή,
θα πρέπει να διαγράψετε το παρόν μήνυμα και να ειδοποιήσετε τον αποστολέα.
Οι απόψεις που διατυπώνονται στο μήνυμα εκφράζουν αποκλειστικά τον
αποστολέα του και δεν αντιπροσωπεύουν απαραίτητα τις απόψεις του ΙΙΒΕΑΑ.
Το ΙΙΒΕΑΑ δεσμεύεται στην προστασία της εμπιστευτικότητας και της
ιδιωτικότητας των Δεδομένων Προσωπικού Χαρακτήρα και συμμορφώνεται με τις
σχετικές διατάξεις του «Γενικού Κανονισμού για την Προστασία Δεδομένων»
«ΓΚΠΔ», λαμβάνοντας  τα κατάλληλα τεχνικά και οργανωτικά μέτρα με σκοπό
την προστασία των προσωπικών δεδομένων που συλλέγει, τηρεί κι επεξεργάζεται,
διασφαλίζοντας παράλληλα τη νομιμότητά τους. Το ΙΙΒΕΑΑ έχει λάβει όλα τα
εύλογα μέτρα ασφάλειας προκειμένου το παρόν μήνυμα να μην περιλαμβάνει ιούς.
Δεδομένου ότι η επικοινωνία μέσω διαδικτύου (Internet) δεν είναι ασφαλής,
το ΙΙΒΕΑΑ  δεν φέρει την ευθύνη για οποιαδήποτε ζημιά ή απώλεια προκύψει
από τη χρήση του παρόντος ή των συνημμένων αρχείων του και σας συνιστά
να το υποβάλετε στις διαδικασίες πρόληψης ιών που διαθέτετε.
 
This message may contain confidential and / or private information and is
addressed exclusively to its recipients. In the event that you receive this
message by mistake, please do not use, copy, distribute or deliver it to anyone,
either in whole or in part, or take any further action. In this case, you
should delete this message and notify the sender. The views expressed in the
message exclusively reflect the sender and do not necessarily represent the
views of BRFAA. The BRFAA is committed to protecting the confidentiality
and privacy of Personal Data and complies with the relevant provisions
of the General Data Protection Regulation, "GDPR", by taking appropriate
technical and organizational measures to protect the personal data it collects,
maintains and processes, while ensuring their legitimacy. BRFAA has taken all
reasonable security measures to ensure that this message does not contain viruses.
As internet communication is not secure, BRFAA is not responsible for any damage
or loss resulting from the use of this message or its attachments and recommends
that you submit it to your antivirus procedures.
------------------------------------------------------------------------------------
_______________________________________________
Wekalist mailing list -- [email protected]
Send posts to [email protected]
To unsubscribe send an email to [email protected]
To subscribe, unsubscribe, etc., visit https://list.waikato.ac.nz/postorius/lists/wekalist.list.waikato.ac.nz
List etiquette: http://www.cs.waikato.ac.nz/~ml/weka/mailinglist_etiquette.html