Blame SOURCES/dmpd-0_9_0-thin_check-dump-Under-populated-nodes-are-now-non-fatal.patch

0de323
 .../data-structures/btree_damage_visitor.h         | 22 +++++++++++-----
0de323
 thin-provisioning/device_tree.cc                   | 11 +++++---
0de323
 thin-provisioning/device_tree.h                    |  6 +++--
0de323
 thin-provisioning/mapping_tree.cc                  | 30 +++++++++++++---------
0de323
 thin-provisioning/mapping_tree.h                   | 25 ++++++++++++------
0de323
 thin-provisioning/metadata_dumper.cc               | 16 ++++++------
0de323
 thin-provisioning/thin_check.cc                    |  6 ++---
0de323
 7 files changed, 73 insertions(+), 43 deletions(-)
0de323
0de323
diff --git a/persistent-data/data-structures/btree_damage_visitor.h b/persistent-data/data-structures/btree_damage_visitor.h
0de323
index 1ff16a8..60e25d9 100644
0de323
--- a/persistent-data/data-structures/btree_damage_visitor.h
0de323
+++ b/persistent-data/data-structures/btree_damage_visitor.h
0de323
@@ -159,10 +159,12 @@ namespace persistent_data {
0de323
 			typedef boost::optional<run64> maybe_run64;
0de323
 
0de323
 			btree_damage_visitor(ValueVisitor &value_visitor,
0de323
-					     DamageVisitor &damage_visitor)
0de323
+					     DamageVisitor &damage_visitor,
0de323
+                                             bool ignore_non_fatal)
0de323
 				: avoid_repeated_visits_(true),
0de323
 				  value_visitor_(value_visitor),
0de323
-				  damage_visitor_(damage_visitor) {
0de323
+				  damage_visitor_(damage_visitor),
0de323
+				  ignore_non_fatal_(ignore_non_fatal) {
0de323
 			}
0de323
 
0de323
 			bool visit_internal(node_location const &loc,
0de323
@@ -231,7 +233,7 @@ namespace persistent_data {
0de323
 				else if (!checker_.check_block_nr(n) ||
0de323
 					 !checker_.check_value_size(n) ||
0de323
 					 !checker_.check_max_entries(n) ||
0de323
-					 !checker_.check_nr_entries(n, loc.is_sub_root()) ||
0de323
+                                         !check_nr_entries(loc, n) ||
0de323
 					 !checker_.check_ordered_keys(n) ||
0de323
 					 !checker_.check_parent_key(n, loc.is_sub_root() ? boost::optional<uint64_t>() : loc.key)) {
0de323
 					report_damage(checker_.get_last_error_string());
0de323
@@ -255,7 +257,7 @@ namespace persistent_data {
0de323
 				else if (!checker_.check_block_nr(n) ||
0de323
 					 !checker_.check_value_size(n) ||
0de323
 					 !checker_.check_max_entries(n) ||
0de323
-					 !checker_.check_nr_entries(n, loc.is_sub_root()) ||
0de323
+					 !check_nr_entries(loc, n) ||
0de323
 					 !checker_.check_ordered_keys(n) ||
0de323
 					 !checker_.check_parent_key(n, loc.is_sub_root() ? boost::optional<uint64_t>() : loc.key) ||
0de323
 					 !checker_.check_leaf_key(n, last_leaf_key_[loc.level()])) {
0de323
@@ -353,6 +355,12 @@ namespace persistent_data {
0de323
 					maybe_issue_damage(*old_path);
0de323
 			}
0de323
 
0de323
+			template <typename ValueTraits2>
0de323
+			bool check_nr_entries(node_location const &loc,
0de323
+					      btree_detail::node_ref<ValueTraits2> const &n) {
0de323
+				return ignore_non_fatal_ || checker_.check_nr_entries(n, loc.is_sub_root());
0de323
+			}
0de323
+
0de323
 			//--------------------------------
0de323
 
0de323
 			bool avoid_repeated_visits_;
0de323
@@ -367,15 +375,17 @@ namespace persistent_data {
0de323
 			path_tracker path_tracker_;
0de323
 			damage_tracker dt_;
0de323
 			std::list<std::string> damage_reasons_;
0de323
+			bool ignore_non_fatal_;
0de323
 		};
0de323
 	}
0de323
 
0de323
 	template <unsigned Levels, typename ValueTraits, typename ValueVisitor, typename DamageVisitor>
0de323
 	void btree_visit_values(btree<Levels, ValueTraits> const &tree,
0de323
 				ValueVisitor &value_visitor,
0de323
-				DamageVisitor &damage_visitor) {
0de323
+				DamageVisitor &damage_visitor,
0de323
+                                bool ignore_non_fatal = false) {
0de323
 		btree_detail::btree_damage_visitor<ValueVisitor, DamageVisitor, Levels, ValueTraits>
0de323
-			v(value_visitor, damage_visitor);
0de323
+			v(value_visitor, damage_visitor, ignore_non_fatal);
0de323
 		tree.visit_depth_first(v);
0de323
 	}
0de323
 }
0de323
diff --git a/thin-provisioning/device_tree.cc b/thin-provisioning/device_tree.cc
0de323
index 4837cb7..8ae16f7 100644
0de323
--- a/thin-provisioning/device_tree.cc
0de323
+++ b/thin-provisioning/device_tree.cc
0de323
@@ -89,18 +89,21 @@ namespace thin_provisioning {
0de323
 void
0de323
 thin_provisioning::walk_device_tree(device_tree const &tree,
0de323
 				    device_tree_detail::device_visitor &vv,
0de323
-				    device_tree_detail::damage_visitor &dv)
0de323
+				    device_tree_detail::damage_visitor &dv,
0de323
+                                    bool ignore_non_fatal)
0de323
 {
0de323
 	visitor_adapter av(vv);
0de323
 	ll_damage_visitor ll_dv(dv);
0de323
-	btree_visit_values(tree, av, ll_dv);
0de323
+	btree_visit_values(tree, av, ll_dv, ignore_non_fatal);
0de323
 }
0de323
 
0de323
 void
0de323
-thin_provisioning::check_device_tree(device_tree const &tree, damage_visitor &visitor)
0de323
+thin_provisioning::check_device_tree(device_tree const &tree,
0de323
+                                     damage_visitor &visitor,
0de323
+                                     bool ignore_non_fatal)
0de323
 {
0de323
 	noop_visitor vv;
0de323
-	walk_device_tree(tree, vv, visitor);
0de323
+	walk_device_tree(tree, vv, visitor, ignore_non_fatal);
0de323
 }
0de323
 
0de323
 //----------------------------------------------------------------
0de323
diff --git a/thin-provisioning/device_tree.h b/thin-provisioning/device_tree.h
0de323
index ec0f9f2..980f1a9 100644
0de323
--- a/thin-provisioning/device_tree.h
0de323
+++ b/thin-provisioning/device_tree.h
0de323
@@ -74,9 +74,11 @@ namespace thin_provisioning {
0de323
 
0de323
 	void walk_device_tree(device_tree const &tree,
0de323
 			      device_tree_detail::device_visitor &dev_v,
0de323
-			      device_tree_detail::damage_visitor &dv;;
0de323
+			      device_tree_detail::damage_visitor &dv,
0de323
+                              bool ignore_non_fatal = false);
0de323
 	void check_device_tree(device_tree const &tree,
0de323
-			       device_tree_detail::damage_visitor &visitor);
0de323
+			       device_tree_detail::damage_visitor &visitor,
0de323
+                               bool ignore_non_fatal = false);
0de323
 }
0de323
 
0de323
 //----------------------------------------------------------------
0de323
diff --git a/thin-provisioning/mapping_tree.cc b/thin-provisioning/mapping_tree.cc
0de323
index 5b69fe9..6c82095 100644
0de323
--- a/thin-provisioning/mapping_tree.cc
0de323
+++ b/thin-provisioning/mapping_tree.cc
0de323
@@ -220,54 +220,60 @@ namespace {
0de323
 void
0de323
 thin_provisioning::walk_mapping_tree(dev_tree const &tree,
0de323
 				     mapping_tree_detail::device_visitor &dev_v,
0de323
-				     mapping_tree_detail::damage_visitor &dv)
0de323
+				     mapping_tree_detail::damage_visitor &dv,
0de323
+                                     bool ignore_non_fatal)
0de323
 {
0de323
 	dev_tree_damage_visitor ll_dv(dv);
0de323
-	btree_visit_values(tree, dev_v, ll_dv);
0de323
+	btree_visit_values(tree, dev_v, ll_dv, ignore_non_fatal);
0de323
 }
0de323
 
0de323
 void
0de323
 thin_provisioning::check_mapping_tree(dev_tree const &tree,
0de323
-				      mapping_tree_detail::damage_visitor &visitor)
0de323
+				      mapping_tree_detail::damage_visitor &visitor,
0de323
+                                      bool ignore_non_fatal)
0de323
 {
0de323
 	noop_block_visitor dev_v;
0de323
-	walk_mapping_tree(tree, dev_v, visitor);
0de323
+	walk_mapping_tree(tree, dev_v, visitor, ignore_non_fatal);
0de323
 }
0de323
 
0de323
 void
0de323
 thin_provisioning::walk_mapping_tree(mapping_tree const &tree,
0de323
 				     mapping_tree_detail::mapping_visitor &mv,
0de323
-				     mapping_tree_detail::damage_visitor &dv)
0de323
+				     mapping_tree_detail::damage_visitor &dv,
0de323
+                                     bool ignore_non_fatal)
0de323
 {
0de323
 	mapping_tree_damage_visitor ll_dv(dv);
0de323
-	btree_visit_values(tree, mv, ll_dv);
0de323
+	btree_visit_values(tree, mv, ll_dv, ignore_non_fatal);
0de323
 }
0de323
 
0de323
 void
0de323
 thin_provisioning::check_mapping_tree(mapping_tree const &tree,
0de323
-				      mapping_tree_detail::damage_visitor &visitor)
0de323
+				      mapping_tree_detail::damage_visitor &visitor,
0de323
+                                      bool ignore_non_fatal)
0de323
 {
0de323
 	noop_block_time_visitor mv;
0de323
-	walk_mapping_tree(tree, mv, visitor);
0de323
+	walk_mapping_tree(tree, mv, visitor, ignore_non_fatal);
0de323
 }
0de323
 
0de323
 void
0de323
 thin_provisioning::walk_mapping_tree(single_mapping_tree const &tree,
0de323
 				     uint64_t dev_id,
0de323
 				     mapping_tree_detail::mapping_visitor &mv,
0de323
-				     mapping_tree_detail::damage_visitor &dv)
0de323
+				     mapping_tree_detail::damage_visitor &dv,
0de323
+                                     bool ignore_non_fatal)
0de323
 {
0de323
 	single_mapping_tree_damage_visitor ll_dv(dv, dev_id);
0de323
-	btree_visit_values(tree, mv, ll_dv);
0de323
+	btree_visit_values(tree, mv, ll_dv, ignore_non_fatal);
0de323
 }
0de323
 
0de323
 void
0de323
 thin_provisioning::check_mapping_tree(single_mapping_tree const &tree,
0de323
 				      uint64_t dev_id,
0de323
-				      mapping_tree_detail::damage_visitor &visitor)
0de323
+				      mapping_tree_detail::damage_visitor &visitor,
0de323
+                                      bool ignore_non_fatal)
0de323
 {
0de323
 	noop_block_time_visitor mv;
0de323
-	walk_mapping_tree(tree, dev_id, mv, visitor);
0de323
+	walk_mapping_tree(tree, dev_id, mv, visitor, ignore_non_fatal);
0de323
 }
0de323
 
0de323
 //----------------------------------------------------------------
0de323
diff --git a/thin-provisioning/mapping_tree.h b/thin-provisioning/mapping_tree.h
0de323
index ce88ba2..68b5c4b 100644
0de323
--- a/thin-provisioning/mapping_tree.h
0de323
+++ b/thin-provisioning/mapping_tree.h
0de323
@@ -128,23 +128,32 @@ namespace thin_provisioning {
0de323
 
0de323
 	void walk_mapping_tree(dev_tree const &tree,
0de323
 			       mapping_tree_detail::device_visitor &dev_v,
0de323
-			       mapping_tree_detail::damage_visitor &dv;;
0de323
-	void check_mapping_tree(dev_tree const &tree,
0de323
-				mapping_tree_detail::damage_visitor &visitor);
0de323
+			       mapping_tree_detail::damage_visitor &dv,
0de323
+                               bool ignore_non_fatal = false);
0de323
 
0de323
 	void walk_mapping_tree(mapping_tree const &tree,
0de323
 			       mapping_tree_detail::mapping_visitor &mv,
0de323
-			       mapping_tree_detail::damage_visitor &dv;;
0de323
-	void check_mapping_tree(mapping_tree const &tree,
0de323
-				mapping_tree_detail::damage_visitor &visitor);
0de323
+			       mapping_tree_detail::damage_visitor &dv,
0de323
+                               bool ignore_non_fatal = false);
0de323
 
0de323
 	void walk_mapping_tree(single_mapping_tree const &tree,
0de323
 			       uint64_t dev_id,
0de323
 			       mapping_tree_detail::mapping_visitor &mv,
0de323
-			       mapping_tree_detail::damage_visitor &dv;;
0de323
+			       mapping_tree_detail::damage_visitor &dv,
0de323
+                               bool ignore_non_fatal = false);
0de323
+	
0de323
 	void check_mapping_tree(single_mapping_tree const &tree,
0de323
 				uint64_t dev_id,
0de323
-				mapping_tree_detail::damage_visitor &visitor);
0de323
+				mapping_tree_detail::damage_visitor &visitor,
0de323
+                                bool ignore_non_fatal = false);
0de323
+
0de323
+	void check_mapping_tree(dev_tree const &tree,
0de323
+				mapping_tree_detail::damage_visitor &visitor,
0de323
+                                bool ignore_non_fatal = false);
0de323
+
0de323
+	void check_mapping_tree(mapping_tree const &tree,
0de323
+				mapping_tree_detail::damage_visitor &visitor,
0de323
+                                bool ignore_non_fatal = false);
0de323
 }
0de323
 
0de323
 //----------------------------------------------------------------
0de323
diff --git a/thin-provisioning/metadata_dumper.cc b/thin-provisioning/metadata_dumper.cc
0de323
index ce28d2e..9ebc8d8 100644
0de323
--- a/thin-provisioning/metadata_dumper.cc
0de323
+++ b/thin-provisioning/metadata_dumper.cc
0de323
@@ -131,7 +131,7 @@ namespace {
0de323
 		auto tree = device_tree(tm, root, device_tree_detail::device_details_traits::ref_counter());
0de323
 
0de323
 		try {
0de323
-			walk_device_tree(tree, de, dv);
0de323
+			walk_device_tree(tree, de, dv, true);
0de323
 		} catch (...) {
0de323
 			return optional<set<uint32_t>>();
0de323
 		}
0de323
@@ -156,7 +156,7 @@ namespace {
0de323
 		auto tree = dev_tree(tm, root, mapping_tree_detail::mtree_traits::ref_counter(tm));
0de323
 
0de323
 		try {
0de323
-			walk_mapping_tree(tree, me, mv);
0de323
+			walk_mapping_tree(tree, me, mv, true);
0de323
 		} catch (...) {
0de323
 			return optional<set<uint32_t>>();
0de323
 		}
0de323
@@ -722,7 +722,7 @@ namespace {
0de323
 			// Since we're not mutating the btrees we don't need a real space map
0de323
 			noop_map::ptr sm(new noop_map);
0de323
 			single_mapping_tree tree(tm_, subtree_root, mapping_tree_detail::block_time_ref_counter(sm));
0de323
-			walk_mapping_tree(tree, dev_id, static_cast<mapping_tree_detail::mapping_visitor &>(me), *damage_policy_);
0de323
+			walk_mapping_tree(tree, dev_id, static_cast<mapping_tree_detail::mapping_visitor &>(me), *damage_policy_, true);
0de323
 		}
0de323
 
0de323
 		dump_options const &opts_;
0de323
@@ -752,7 +752,7 @@ namespace {
0de323
 		dump_options opts;
0de323
 		details_extractor de(opts);
0de323
 		device_tree_detail::damage_visitor::ptr dd_policy(details_damage_policy(true));
0de323
-		walk_device_tree(*md.details_, de, *dd_policy);
0de323
+		walk_device_tree(*md.details_, de, *dd_policy, true);
0de323
 
0de323
 		e->begin_superblock("", sb.time_,
0de323
 				    sb.trans_id_,
0de323
@@ -765,7 +765,7 @@ namespace {
0de323
 		{
0de323
 			mapping_tree_detail::damage_visitor::ptr md_policy(mapping_damage_policy(true));
0de323
 			mapping_tree_emit_visitor mte(opts, *md.tm_, e, de.get_details(), mapping_damage_policy(true));
0de323
-			walk_mapping_tree(*md.mappings_top_level_, mte, *md_policy);
0de323
+			walk_mapping_tree(*md.mappings_top_level_, mte, *md_policy, true);
0de323
 		}
0de323
 
0de323
 		e->end_superblock();
0de323
@@ -801,7 +801,7 @@ thin_provisioning::metadata_dump(metadata::ptr md, emitter::ptr e, dump_options
0de323
 {
0de323
 	details_extractor de(opts);
0de323
 	device_tree_detail::damage_visitor::ptr dd_policy(details_damage_policy(false));
0de323
-	walk_device_tree(*md->details_, de, *dd_policy);
0de323
+	walk_device_tree(*md->details_, de, *dd_policy, true);
0de323
 
0de323
 	e->begin_superblock("", md->sb_.time_,
0de323
 			    md->sb_.trans_id_,
0de323
@@ -814,7 +814,7 @@ thin_provisioning::metadata_dump(metadata::ptr md, emitter::ptr e, dump_options
0de323
 	{
0de323
 		mapping_tree_detail::damage_visitor::ptr md_policy(mapping_damage_policy(false));
0de323
 		mapping_tree_emit_visitor mte(opts, *md->tm_, e, de.get_details(), mapping_damage_policy(false));
0de323
-		walk_mapping_tree(*md->mappings_top_level_, mte, *md_policy);
0de323
+		walk_mapping_tree(*md->mappings_top_level_, mte, *md_policy, true);
0de323
 	}
0de323
 
0de323
 	e->end_superblock();
0de323
@@ -844,7 +844,7 @@ thin_provisioning::metadata_dump_subtree(metadata::ptr md, emitter::ptr e, bool
0de323
 				 mapping_tree_detail::block_time_ref_counter(md->data_sm_));
0de323
 	// FIXME: pass the current device id instead of zero
0de323
 	walk_mapping_tree(tree, 0, static_cast<mapping_tree_detail::mapping_visitor &>(me),
0de323
-			  *mapping_damage_policy(repair));
0de323
+			  *mapping_damage_policy(repair), true);
0de323
 }
0de323
 
0de323
 //----------------------------------------------------------------
0de323
diff --git a/thin-provisioning/thin_check.cc b/thin-provisioning/thin_check.cc
0de323
index 6373603..c2612b5 100644
0de323
--- a/thin-provisioning/thin_check.cc
0de323
+++ b/thin-provisioning/thin_check.cc
0de323
@@ -244,7 +244,7 @@ namespace {
0de323
 				nested_output::nest _ = out.push();
0de323
 				device_tree dtree(*tm, sb.device_details_root_,
0de323
 						  device_tree_detail::device_details_traits::ref_counter());
0de323
-				check_device_tree(dtree, dev_rep);
0de323
+				check_device_tree(dtree, dev_rep, fs.ignore_non_fatal_errors);
0de323
 			}
0de323
 		}
0de323
 
0de323
@@ -254,7 +254,7 @@ namespace {
0de323
 				nested_output::nest _ = out.push();
0de323
 				dev_tree dtree(*tm, mapping_root(sb, fs),
0de323
 					       mapping_tree_detail::mtree_traits::ref_counter(*tm));
0de323
-				check_mapping_tree(dtree, mapping_rep);
0de323
+				check_mapping_tree(dtree, mapping_rep, fs.ignore_non_fatal_errors);
0de323
 			}
0de323
 
0de323
 		} else if (fs.check_mapping_tree_level2) {
0de323
@@ -263,7 +263,7 @@ namespace {
0de323
 				nested_output::nest _ = out.push();
0de323
 				mapping_tree mtree(*tm, mapping_root(sb, fs),
0de323
 						   mapping_tree_detail::block_traits::ref_counter(tm->get_sm()));
0de323
-				check_mapping_tree(mtree, mapping_rep);
0de323
+				check_mapping_tree(mtree, mapping_rep, fs.ignore_non_fatal_errors);
0de323
 			}
0de323
 		}
0de323