Cross-Validation

How good are supervised data mining methods on your classification data set? Here's a schema that scores various classification techniques on a data set from medicine. A central widget here is the one for evaluation, which is given the data and a set of learners, does cross-validation and scores predictive accuracy, and outputs the scores for further examination.

File

Naive Bayes

k Nearest Neighbours

Random Forest

Test Learners

Data Table

Confusion Matrix

Data Table (1)

Class-labeled data set
Several learners can be scored in cross-validation at the same time.
It's always a good idea to check out the data first.
Cross-validation takes place here. Double click to see the performance scores.
Use for additional analysis of cross-validation results.
Select a cell in confusion matrix to obtain related data instances. Here we examine them in the spreadheet.
(dp1 S'widgetShown' p2 I0 sS'showAdvanced' p3 I0 sS'createNewOn' p4 I1 sS'savedWidgetGeometry' p5 S'\x01\xd9\xd0\xcb\x00\x01\x00\x00\x00\x00\x00\xab\x00\x00\x00\x9d\x00\x00\x02w\x00\x00\x01\xba\x00\x00\x00\xab\x00\x00\x00\xb3\x00\x00\x02w\x00\x00\x01\xba\x00\x00\x00\x00\x00\x00' p6 sS'recentFiles' p7 (lp8 V/Users/blaz/Documents/dev/nice/Orange/datasets/heart_disease.tab p9 aV/Users/blaz/Documents/dev/nice/Orange/datasets/iris.tab p10 as.
(dp1 S'adjustThreshold' p2 I0 sS'name' p3 S'Naive Bayes' p4 sS'probEstimation' p5 I0 sS'm_estimator.m' p6 F2 sS'condProbEstimation' p7 I0 sS'savedWidgetGeometry' p8 NsS'widgetShown' p9 NsS'windowProportion' p10 F0.5 s.
(dp1 S'normalize' p2 I1 sS'widgetShown' p3 NsS'name' p4 S'kNN' p5 sS'ranks' p6 I0 sS'k' I5 sS'ignoreUnknowns' p7 I0 sS'metrics' p8 I0 sS'savedWidgetGeometry' p9 Ns.
(dp1 S'widgetShown' p2 I0 sS'attributesP' p3 I5 sS'name' p4 S'Random Forest' p5 sS'trees' p6 I100 sS'rseed' p7 I0 sS'savedWidgetGeometry' p8 S'\x01\xd9\xd0\xcb\x00\x01\x00\x00\x00\x00\x01\xf5\x00\x00\x00\xde\x00\x00\x03\x9b\x00\x00\x02\x82\x00\x00\x01\xf5\x00\x00\x00\xf4\x00\x00\x03\x9b\x00\x00\x02\x82\x00\x00\x00\x00\x00\x00' p9 sS'limitDepth' p10 I0 sS'limitDepthP' p11 I3 sS'preNodeInstP' p12 I5 sS'attributes' p13 I0 sS'preNodeInst' p14 I1 s.
(dp1 S'selectedCScores' p2 (lp3 I0 aI1 aI2 aI3 aI8 asS'selectedRScores' p4 (lp5 I1 aI4 aI6 asS'pLearning' p6 I70 sS'precision' p7 I4 sS'widgetShown' p8 I0 sS'pRepeat' p9 I10 sS'resampling' p10 I0 sS'savedWidgetGeometry' p11 S'\x01\xd9\xd0\xcb\x00\x01\x00\x00\x00\x00\x01t\x00\x00\x00\x89\x00\x00\x04\x1b\x00\x00\x02\xd7\x00\x00\x01t\x00\x00\x00\x9f\x00\x00\x04\x1b\x00\x00\x02\xd7\x00\x00\x00\x00\x00\x00' p12 sS'nFolds' p13 I5 sS'applyOnAnyChange' p14 I01 s.
(dp1 S'autoCommit' p2 I00 sS'showMeta' p3 I1 sS'distColorRgb' p4 (I220 I220 I220 I255 tp5 sS'showAttributeLabels' p6 I1 sS'showDistributions' p7 I00 sS'widgetShown' p8 I0 sS'savedWidgetGeometry' p9 S'\x01\xd9\xd0\xcb\x00\x01\x00\x00\x00\x00\x00\x04\x00\x00\x00\x16\x00\x00\x03\x1f\x00\x00\x02W\x00\x00\x00\x04\x00\x00\x00,\x00\x00\x03\x1f\x00\x00\x02W\x00\x00\x00\x00\x00\x00' p10 sS'selectedSchemaIndex' p11 I0 sS'colorByClass' p12 I00 s.
(dp1 S'widgetShown' p2 NsS'savedWidgetGeometry' p3 Ns.
(dp1 S'autoCommit' p2 I00 sS'showMeta' p3 I1 sS'distColorRgb' p4 (I220 I220 I220 I255 tp5 sS'showAttributeLabels' p6 I1 sS'showDistributions' p7 I00 sS'widgetShown' p8 I0 sS'savedWidgetGeometry' p9 S'\x01\xd9\xd0\xcb\x00\x01\x00\x00\x00\x00\x00\x04\x00\x00\x00\x16\x00\x00\x03\x1f\x00\x00\x02W\x00\x00\x00\x04\x00\x00\x00,\x00\x00\x03\x1f\x00\x00\x02W\x00\x00\x00\x00\x00\x00' p10 sS'selectedSchemaIndex' p11 I0 sS'colorByClass' p12 I00 s.