Search

Acercándose a la Métrica $

Las métricas matemáticas de desempeño son muy interesantes para los desarrolladores técnicos de modelos predictivos, pero poco atractivo encuentran en ellas los directivos comerciales de una empresa. La mejor forma de evaluar el impacto de una iniciativa de negocios es calcular con la mayor certeza posible la utilidad neta conseguida gracias a la participación del nuevo elemento en juego.


Una telefónica tenía un cupo mensual asignado de 10.000 llamados desde un callcenter para vender nuevos equipos móviles. El costo de cada llamado era de $10 y solía tener una tasa de conversión del 5%, vendiendo 500 celulares con una utilidad promedio unitaria de $500. Con un ingreso total de $250.000 y un costo total de $100.000, la operación resultaba rentable, embolsando unos $150.000 todos los meses y satisfaciendo ampliamente a quienes daban luz verde a esta acción recurrente. Al acercarnos como proveedores de servicios de minería de datos, prometimos ser más eficientes y eficaces en la selección de los mejores prospectos a llamar, desarrollamos un modelo predictivo con un desempeño muy atractivo y lo presentamos para ponerlo en práctica. Sin embargo, en lugar de hablar de AUC, y matrices de confusión que solamente confunden a quienes no las conoce, les comunicamos que, según nuestros cálculos, esperábamos vender 1.500 unidades (3 veces más!), arrojando una utilidad de $650.000 (4.3 veces más!).

Al llegar al primer resultado nos encontramos con que habían vendido nuevamente apenas 560 unidades. ¿Cómo era posible? Los modelos, técnicamente, funcionaban perfectamente bien. Lo que había sucedido era que habían llegado al objetivo de ventas mucho más rápido que lo usual y habían pasado a cumplir otros objetivos. En lugar de realizar 10.000 llamados tuvieron que hacer solamente 2.000, ahorrando 8.000 y por lo tanto $80.000, arrojando una utilidad final de $260.000 mensuales. Este enfoque agrega otra visión necesaria para calcular el beneficio del proyecto.

La tabla muestra la utilidad asociada con realizar llamados a más o menos personas. Con el resultado en $ considerado, a los directivos les resulta más fácil decidir puntos de corte en base a utilidad concreta. Sin embargo, estaría faltando un importante factor. Consideremos que de toda la cartera de clientes de la telefónica, el 1% espontáneamente compraba un nuevo celular con ellos sin necesidad de haberlo contactado previamente. Por lo tanto, si quisiéramos ser más estrictos con el resultado de inclusive la primera acción comercial previa a la aparición de la minería de datos, deberíamos considerar a la compra espontánea como factor.

Realizando el mismo cálculo en la tabla de puntos de corte, vemos que la compra espontánea lógicamente también aumenta a medida que apuntamos a menos prospectos de mayor puntuación. Si bien este caso las utilidades reales y no ponderadas van de la mano, pueden darse otros resultados no tan convenientes:

En este gráfico se ve que debido a una diferencia cada vez menor en conversión real, la acción con minería de datos deja de ser conveniente concentrándose en menos de 4.000 llamados. En el próximo, vemos que en realidad la campaña nunca logró vender más contra grupo de control:

En muchos otros puede pasar que el modelo técnicamente tenga buen desempeño identificando compradores, pero en la práctica no logre mejorar la tasa de compra frente a la espontánea. Frecuentemente en estos casos, las campañas que ya se desarrollaban tampoco lograban mejora alguna. Esto puede darse por muchos factores, dignos de ser desarrollados en otra nota. Para disparar ideas, dejamos algunos interrogantes:

  • ¿Qué sucedería si el proceso de compra del producto o servicio ofrecido fuera incompatible con la metodología de la fuerza de ventas?

  • ¿Por qué telefónicamente sería más fácil vender una tarjeta de crédito adicional que una inversión financiera a largo plazo?

  • ¿Cuánto influye en el éxito de una implementación de analytics predictiva de ventas el atractivo comercial del producto ofrecido?

  • ¿Conoce el término uplift modeling?

Esperamos que les haya gustado este bocado de conocimiento en aprendizaje automático para analytics predictiva, los vemos en la próxima entrada!


#AprendizajeAutomático #DataMining #CRM #ModelosPredictivos #Ventas #Datos #DataScience #BusinessIntelligence #InteligenciaComercial #Métricas #KPI #CallCenter #Telemarketing #Estadística #AUC #GINI

157 views