Evaluators

Subpackages

Submodules

• Agentic Evaluator
  • AgenticEvaluator
    • AgenticEvaluator.agentic_app
    • AgenticEvaluator.ai_experiment_client
    • AgenticEvaluator.max_concurrency
    • AgenticEvaluator.tracing_configuration
    • AgenticEvaluator.compare_ai_experiments()
    • AgenticEvaluator.end_run()
    • AgenticEvaluator.evaluate_answer_quality()
    • AgenticEvaluator.evaluate_answer_relevance()
    • AgenticEvaluator.evaluate_answer_similarity()
    • AgenticEvaluator.evaluate_average_precision()
    • AgenticEvaluator.evaluate_content_safety()
    • AgenticEvaluator.evaluate_context_relevance()
    • AgenticEvaluator.evaluate_evasiveness()
    • AgenticEvaluator.evaluate_faithfulness()
    • AgenticEvaluator.evaluate_general_quality_with_llm()
    • AgenticEvaluator.evaluate_hap()
    • AgenticEvaluator.evaluate_harm()
    • AgenticEvaluator.evaluate_harm_engagement()
    • AgenticEvaluator.evaluate_hit_rate()
    • AgenticEvaluator.evaluate_jailbreak()
    • AgenticEvaluator.evaluate_ndcg()
    • AgenticEvaluator.evaluate_pii()
    • AgenticEvaluator.evaluate_profanity()
    • AgenticEvaluator.evaluate_prompt_safety_risk()
    • AgenticEvaluator.evaluate_readability()
    • AgenticEvaluator.evaluate_reciprocal_rank()
    • AgenticEvaluator.evaluate_retrieval_precision()
    • AgenticEvaluator.evaluate_retrieval_quality()
    • AgenticEvaluator.evaluate_sexual_content()
    • AgenticEvaluator.evaluate_social_bias()
    • AgenticEvaluator.evaluate_text_grade_level()
    • AgenticEvaluator.evaluate_text_reading_ease()
    • AgenticEvaluator.evaluate_tool_call_accuracy()
    • AgenticEvaluator.evaluate_tool_call_parameter_accuracy()
    • AgenticEvaluator.evaluate_tool_call_relevance()
    • AgenticEvaluator.evaluate_tool_call_syntactic_accuracy()
    • AgenticEvaluator.evaluate_topic_relevance()
    • AgenticEvaluator.evaluate_unethical_behavior()
    • AgenticEvaluator.evaluate_unsuccessful_requests()
    • AgenticEvaluator.evaluate_violence()
    • AgenticEvaluator.get_metric_result()
    • AgenticEvaluator.get_nodes()
    • AgenticEvaluator.get_result()
    • AgenticEvaluator.log_custom_metrics()
    • AgenticEvaluator.model_post_init()
    • AgenticEvaluator.start_run()
    • AgenticEvaluator.track_experiment()
• Base Evaluator
  • BaseEvaluator
    • BaseEvaluator.api_client
• Metrics Evaluator
  • MetricsEvaluator
    • MetricsEvaluator.configuration
    • MetricsEvaluator.display_insights()
    • MetricsEvaluator.display_table()
    • MetricsEvaluator.evaluate()
    • MetricsEvaluator.evaluate_async()
    • MetricsEvaluator.model_post_init()
• Model Risk Evaluator
  • ModelRiskEvaluator
    • ModelRiskEvaluator.api_client
    • ModelRiskEvaluator.configuration
    • ModelRiskEvaluator.display_table()
    • ModelRiskEvaluator.download_model_risk_report()
    • ModelRiskEvaluator.evaluate()
    • ModelRiskEvaluator.model_post_init()
• Traces Evaluator
  • TracesEvaluator
    • TracesEvaluator.agentic_app
    • TracesEvaluator.evaluate()
    • TracesEvaluator.model_post_init()