c# - 使用 ML.NET 进行动态训练/测试类
问题描述
这是对这里的问题的跟进 Dynamic classes/objects ML.net's PredictionMoadel<TInput, TOutput> Train()
我的系统在编译时无法使用预定义的类,因此我尝试将动态类提供给 ML.NET,如下所示
// field data type
public class Field
{
public string FieldName { get; set; }
public Type FieldType { get; set; }
}
// dynamic class helper
public class DynamicClass : DynamicObject
{
private readonly Dictionary<string, KeyValuePair<Type, object>> _fields;
public DynamicClass(List<Field> fields)
{
_fields = new Dictionary<string, KeyValuePair<Type, object>>();
fields.ForEach(x => _fields.Add(x.FieldName,
new KeyValuePair<Type, object>(x.FieldType, null)));
}
public override bool TrySetMember(SetMemberBinder binder, object value)
{
if (_fields.ContainsKey(binder.Name))
{
var type = _fields[binder.Name].Key;
if (value.GetType() == type)
{
_fields[binder.Name] = new KeyValuePair<Type, object>(type, value);
return true;
}
else throw new Exception("Value " + value + " is not of type " + type.Name);
}
return false;
}
public override bool TryGetMember(GetMemberBinder binder, out object result)
{
result = _fields[binder.Name].Value;
return true;
}
}
private static void Main(string[] args)
{
var fields = new List<Field>
{
new Field {FieldName = "Name", FieldType = typeof(string)},
new Field {FieldName = "Income", FieldType = typeof(float)}
};
dynamic obj1 = new DynamicClass(fields);
obj1.Name = "John";
obj1.Income = 100f;
dynamic obj2 = new DynamicClass(fields);
obj2.Name = "Alice";
obj2.Income = 200f;
var trainingData = new List<dynamic> {obj1, obj2};
var env = new LocalEnvironment();
var schemaDef = SchemaDefinition.Create(typeof(DynamicClass));
schemaDef.Add(new SchemaDefinition.Column(null, "Name", TextType.Instance));
schemaDef.Add(new SchemaDefinition.Column(null, "Income", NumberType.R4));
var trainDataView = env.CreateStreamingDataView(trainingData, schemaDef);
var pipeline = new CategoricalEstimator(env, "Name")
.Append(new ConcatEstimator(env, "Features", "Name"))
.Append(new FastTreeRegressionTrainer(env, "Income", "Features"));
var model = pipeline.Fit(trainDataView);
}
并得到错误:“在类型'System.Object'中找不到名称为'Name'的字段或属性”。我尝试使用反射生成类,但遇到了同样的问题。
有解决方法吗?谢谢
解决方案
对于那些尝试这样做的人,我有一个可行的解决方案,它可以创建模式并可用于动态训练数据。
首先,从我在此处的其他答案中获取 DynamicTypeProperty 和 DynamicType 的代码。
以下代码将动态创建模式:
var properties = new List<DynamicTypeProperty>()
{
new DynamicTypeProperty("SepalLength", typeof(float)),
new DynamicTypeProperty("SepalWidth", typeof(float)),
new DynamicTypeProperty("PetalLength", typeof(float)),
new DynamicTypeProperty("PetalWidth", typeof(float)),
};
// create the new type
var dynamicType = DynamicType.CreateDynamicType(properties);
var schema = SchemaDefinition.Create(dynamicType);
然后,您需要使用所需数据创建列表。这是按如下方式完成的:
var dynamicList = DynamicType.CreateDynamicList(dynamicType);
// get an action that will add to the list
var addAction = DynamicType.GetAddAction(dynamicList);
// call the action, with an object[] containing parameters in exact order added
addAction.Invoke(new object[] {1.1, 2.2, 3.3, 4.4});
// call add action again for each row.
然后您需要使用数据创建一个 IDataView,这需要使用反射,否则培训师将无法推断出正确的类型。
var mlContext = new MLContext();
var dataType = mlContext.Data.GetType();
var loadMethodGeneric = dataType.GetMethods().First(method => method.Name =="LoadFromEnumerable" && method.IsGenericMethod);
var loadMethod = loadMethodGeneric.MakeGenericMethod(dynamicType);
var trainData = (IDataView) loadMethod.Invoke(mlContext.Data, new[] {dynamicList, schema});
然后,您应该能够trainData
通过您的管道运行。
祝你好运。
推荐阅读
- angular - 当我从 angular2 应用程序注销时,Angular2 oidc-client 未清除 mvc 应用程序的 cookie
- scope - 将 MDX 维度成员显示为度量 (SSAS)
- r - 计算每个特定字符的行数
- sql - 为 SSIS 中的行添加时间
- php - Laravel php artisan 迁移空数据库上的错误
- java - 设备特定的振动问题
- android - Android Studio 更新后无法解析符号“NonNull”
- jmeter - 需要使用 JMeter 获取第一次出现的 JSON 响应
- r - strsplit 按点和下划线并将数据粘贴到两列中
- groovy - 如何编写 Groovy 脚本以逐块迭代特定字段的日志文件