c# - 如何在应用预测器之前从 ML.Net 管道返回转换后的数据
问题描述
这是从 TaxiFarePrediction 示例复制的 ML.Net 管道对象的创建。
LearningPipeline pipeline = new LearningPipeline
{
new TextLoader(TrainDataPath).CreateFrom<TaxiTrip>(separator:','),
new ColumnCopier(("FareAmount", "Label")),
new CategoricalOneHotVectorizer("VendorId","RateCode","PaymentType"),
new ColumnConcatenator("Features","VendorId","RateCode","PassengerCount","TripDistance","PaymentType"),
new FastTreeRegressor()
};
本质上,我想在应用 ColumnCopier、CategoricalOneHotVectorizer 和 ColumnConcatenator 之后返回数据。
解决方案
用于调试器中的可视化 Microsoft 编程类
LearningPipelineDebugProxy
该类有两个信息量很大的字段:行和列。当然,用于调试的类并不是很容易创建,因为它是内部密封的:
namespace Microsoft.ML
{
/// <summary>
/// The debug proxy class for a LearningPipeline.
/// Displays the current columns and values in the debugger Watch window.
/// </summary>
internal sealed class LearningPipelineDebugProxy
{
根据源代码。在这种情况下,如果调试器可视化还不够,我会使用反射。为了在 TaxiTrip 实例中创建 LearningPipelineDebugProxy 实例,我使用了以下技巧:
- 通过 CreateInstance 方法创建 LearningPipelineDebugProxy 的实例
- 添加了通过反射获取所需字段的方法。
在代码中,该片段看起来像这样:
public static PredictionModel<TaxiTrip, TaxiTripFarePrediction> Train()
{
var pipeline = new LearningPipeline();
pipeline.Add(new TextLoader(_datapath).CreateFrom<TaxiTrip>(useHeader: true, separator: ','));
Type obj = AppDomain.CurrentDomain.GetAssemblies().SelectMany(t => t.GetTypes()).
Where(t => String.Equals(t.Name, "LearningPipelineDebugProxy", StringComparison.Ordinal)).First();
var instObject = Activator.CreateInstance(obj, new []{pipeline});
pipeline.Add(new ColumnCopier(("FareAmount", "Label")));
pipeline.Add(new CategoricalOneHotVectorizer("VendorId", "RateCode", "PaymentType"));
pipeline.Add(new ColumnConcatenator("Features", "VendorId", "RateCode", "PassengerCount", "TripDistance", "PaymentType"));
var rws = GetPropValue(instObject, "Rows");
var clms = GetPropValue(instObject, "Columns");
pipeline.Add(new FastTreeRegressor());
PredictionModel<TaxiTrip, TaxiTripFarePrediction> model = pipeline.Train<TaxiTrip, TaxiTripFarePrediction>();
return model;
}
public static object GetPropValue(object src, string propName)
{
return src.GetType().GetProperty(propName).GetValue(src, null);
}
在调试器窗口中,不仅在调试器中,行变得可用:
推荐阅读
- file - 使用 nodejs 上传大量数据
- node.js - 将图像上传到 S3 存储桶时如何在 Multer Sharp S3 中制作分辨率动态值
- sql-server - 错误:Azure 上的 SQL Server 2014 上的“索引超出了数组的范围”,带有新的 SSMS?
- python-3.x - 在 Python 中集成 baselinker
- haskell - Haskell SBV 中的状态序列不满足约束
- flask - iis烧瓶蓝图404页面未找到
- python - 使用 tensorflow 时出现错误:int() 参数必须是字符串、类似字节的对象或数字,而不是“NoneType”
- vim - vim用制表符替换空格
- asp.net - 如何使用 vb.net 创建具有不同类型数据的列表?
- r - 为什么我不能过滤此列?