End-of-Life Care Assessment Tools: Enhancing Palliative Care Quality

Palliative care is essential for providing relief from suffering, improving quality of life, and supporting patients and their families facing serious illnesses.1 Over the past decade, experts have established guidelines defining the key areas of palliative care (see Text Box). Effective assessment of these areas often relies on reports from patients and caregivers, making patient-reported and caregiver-reported assessment tools critical for evaluating and improving palliative care quality. These tools, completed by or with patients or families, gather data at the individual level. They can range from structured questionnaires used by healthcare providers to assess symptoms like pain, to surveys evaluating the effectiveness of palliative care interventions, such as caregiver feedback on provider communication.3

These assessment tools cover various aspects, including physical symptoms (pain, dyspnea), mental health (depression), caregiver outcomes (quality of life, burden), and care processes (communication, continuity).2 To accurately measure the impact of palliative care, we need reliable and valid assessment tools that are meaningful to patients and families,4 can evaluate intervention effectiveness, and are suitable for palliative care settings and populations.5

National Consensus Guidelines Domains for Quality Palliative Care

Structure/Process of care (e.g., continuity, communication)
Physical Aspects of Care (e.g., pain, dyspnea)
Psychological and Psychiatric Aspects of Care
Social Aspects of Care (including caregiving)
Spiritual, Religious and Existential Aspects of Care
Cultural Aspects of Care (including cultural competence)
Care of the Patient at the End of Life
Ethical and Legal Aspects of Care (care planning)

Over the last fifteen years, several compilations of palliative care assessment tools have been published. The TIME Toolkit of Instruments to Measure End-of-Life Care was an early effort in the mid-1990s.6 In 2004, a systematic review further updated this work, detailing the psychometric properties of 99 tools and their application in palliative care interventions.7,8,9,10 The PEACE Palliative Care Quality Measures project continued this effort, updating the review through 2007 and highlighting 39 instruments relevant to palliative and hospice care quality indicators.11

Since the PEACE project, a comprehensive review of assessment tool use across all palliative care domains has been lacking, despite the development of numerous new tools. More recent reviews have focused on specific areas like dyspnea,12 pain,3 comprehensive assessments,13 patient and caregiver satisfaction,14 caregiver instruments,15 and spiritual support.16 Given the interconnectedness of these tools and the concepts they measure, an updated, integrated review is crucial for the palliative care field.

Assessment tools serve multiple purposes in palliative care. In clinical practice, providers can use them to directly assess patient and family needs and symptoms. For instance, symptom scores from these tools can be used to inform the clinical team about a patient’s pain levels. However, research on the effectiveness of this direct clinical application is varied. A 2012 review of quality improvement in palliative care17 found limited high-quality evidence supporting the use of assessment tools by providers to directly improve patient or family outcomes. While some studies in ambulatory oncology settings showed impact on communication and other outcomes, only one out of five trials demonstrated a significant improvement in patient quality of life when patient-reported outcome information was relayed to providers.

Assessment tools are also vital as quality indicators, especially when patient- or caregiver-reported data is used to evaluate care quality. Recent reviews and reports have focused on tools used for this purpose.18,19

Furthermore, these tools are essential for evaluating the effectiveness of palliative care interventions in research. A 2015 review of palliative care interventions20 analyzing 124 clinical trials found that while interventions often improved communication, care planning, psychosocial health, and patient/caregiver experience, only half of the trials showed statistically significant positive findings. The review suggested that the limited impact on outcomes might be due to the lack of sensitive, relevant, and responsive assessment tools for palliative care populations and interventions. The wide range of domains and tools also hindered quantitative synthesis across studies. Therefore, better information on tools tailored for palliative care and recommendations for specific assessment tools are needed to enhance the quality and comparability of future palliative care intervention research.

To provide a thorough overview of palliative care assessment tools, we will use the established framework for palliative care quality (Text Box), prior reviews,9,17,20 and current literature to examine the use of these tools in three key areas: (i) clinical practice, (ii) quality indicators, and (iii) intervention evaluation. We will also identify critical issues and future research directions.

Key Questions

These questions apply to the three applications of palliative care assessment tools—clinical practice, quality indicators, and intervention evaluation—and our discussion will be structured around the nine domains of palliative care, including the eight domains from the National Consensus Project Clinical Practice Guidelines for Quality Palliative Care (Text Box) and a ninth domain for cross-cutting tools (patient experience/satisfaction, comprehensive assessment).

What assessment tools have been developed and used in end-of-life care?
1. For what settings, populations, and purposes were these tools designed?
2. What are the key features of these tools, including the domains they cover, outcome types, and administration methods?
In what context have end-of-life care assessment tools been applied?
1. In which settings and populations have these tools been utilized?
2. How have they been implemented in practice and research?
What is the current state of research on end-of-life care assessment tools?
1. Is there published evidence regarding their reliability, validity, responsiveness, and usability?
What are the main challenges in using end-of-life care assessment tools?
1. What are the general strengths and weaknesses of available tools (e.g., standardization, patient and caregiver burden, unintended consequences)?
2. What are the gaps in tool development and evaluation, and what opportunities exist for future research?
3. How have these limitations and gaps impacted the field of palliative care?

Methods

1. Data Collection

For each domain of palliative care and cross-cutting areas, we will gather information on palliative care assessment tools from systematic reviews. If a systematic review is not available for a specific domain, we will search grey literature sources and then conduct targeted PubMed searches as needed.

A. Systematic Review Search

Recent systematic reviews in palliative care are abundant. New tools not yet widely used are less relevant to our guiding questions, and psychometric data is usually published with the tool’s initial publication. To identify relevant systematic reviews for each palliative care domain, we will perform a comprehensive search and mapping of existing reviews. We will primarily focus on Cochrane, PubMed, and CINAHL, with targeted searches of PsycINFO and PsycTESTS as in previous reviews.14 Following Evidence-based Practice Center guidelines for using existing systematic reviews21, we will assess the quality of recent (within the last 10 years) relevant systematic reviews using the ROBIS tool.22 We chose a 10-year timeframe because the PEACE systematic review was completed in 2007. Based on quality assessment, relevance, recency, and evidence table availability, we will select systematic reviews, categorize them by domain (Figure 1), and use their abstracted data on assessment tools.

Search Strategy Example (PubMed):

Limit to systematic reviews and meta-analyses AND date range 2/2007 to present: Approximately 300 results.

((“palliative care”[mh] OR “palliative care”[tiab] OR “end of life”[tiab] OR “hospice care”[mh] OR “terminally ill”[tiab] OR “terminal care”[tiab] OR “terminal illness”[tiab] OR Hospice[tiab]) AND (“assessment tool”[tiab] OR “assessment tools”[tiab] OR “Surveys and questionnaires”[Mesh] OR “Questionnaires”[tiab] OR “Questionnaire”[tiab] OR “self report”[tiab] OR instrument[tiab] OR instruments[tiab] OR scale[tiab] OR scales[tiab] OR instrumentation[tiab] OR “Psychometrics”[Mesh] OR “Psychometrics”[tiab] OR “Psychometric”[tiab]))

B. Grey Literature Search

For palliative care domains lacking recent (within the last 3 years) systematic reviews, we will conduct targeted grey literature searches (Figure 1) to find websites compiling assessment tool information. This search will be limited to compiled lists and databases reporting on published studies of tool components, validity, reliability, and usability. We will include websites created or updated in the last 5 years that compile and evaluate tools, such as the University of Washington End-of-Life Care Research Program Instruments site,23 the City of Hope Pain & Palliative Care Resource Center,24 the Measurement and Caregiver Cores of the Palliative Care Research Cooperative Group,25 the National Palliative Care Research Center Measurement and Evaluation Tools,[25](#ref25] and the Functional Assessment of Chronic Illness Therapy (FACIT) system.26 We will also search databases abstracting tool information, including the NIH PROMIS instruments,[27](#ref27] the Mapi Research Trust’s PROQOLID database, and the NCI Grid-Enabled Measures database.28 Inclusion criteria for tools are in Table 1.

Figure 1. Search Flow for Palliative Care Assessment Tools by Domain

Alt text: Search flow diagram for palliative care assessment tools, starting with systematic reviews, then grey literature, and finally primary literature for domains lacking prior reviews.

C. Supplemental Search

If any palliative care domains remain uncovered after the systematic review and grey literature searches, we will conduct targeted PubMed searches using domain-specific keywords combined with our palliative care search terms (Section A). We will use the same inclusion criteria as for systematic reviews (Table 1), but include only published articles describing the psychometrics of assessment tools developed or tested in palliative care populations. Given the last comprehensive review searched to February 2007, our PubMed search will start from February 2006 to ensure overlap.

D. Key Informant Discussions

We will supplement literature search information with key informant interviews to gain perspectives and insights not available from published sources. Interviews will explore what these tools should measure and achieve and where to find relevant studies. We will compare this information to current research to identify gaps and future research needs. Interviews will be conducted in small groups, including a separate session for caregiver advocates to maximize their input. We will adhere to OMB guidelines, limiting participants asked the same questions to no more than 9. Interviews will be documented and submitted to the Task Order Officer. Key informants will include leading palliative care researchers and quality experts from diverse settings like intensive care, oncology, pediatrics, heart failure, geriatrics, and bereavement, with expertise in tool development, application, and review.

Discussions will cover palliative care across domains, settings, and populations. For researchers and providers, interviews will focus on key issues and research gaps in using assessment tools for clinical care, quality indicators, and intervention evaluation. For caregiver advocates, interviews will focus on:

Elements of high-quality palliative care
Experiences with assessment tools or surveys, such as symptom ratings or questionnaires about palliative care experiences
Information providers need about palliative care patients and caregivers, potentially collected via questionnaires or tools
Domains from the National Consensus Project that should be measured in palliative care
Experiences with assessment tools, and whether they improved or hindered care experience

Table 1. Inclusion Criteria

Category	Criteria
Content	Evaluates palliative care assessment tools used in (1) clinical practice, (2) quality indicators, (3) evaluation of interventions
Population	Tools developed, evaluated, or implemented in palliative care populations across all diseases, age groups, and settings
Study design	Systematic reviews; For interventions, include systematic reviews of prospective, controlled trials
Language/ Country	English/ United States
Admissible evidence	Published literature only for reliability, validity, and responsiveness

2. Data Organization and Presentation

A. Information Management

We will extract data on tools published since previous reviews for the NIH State of the Science and PEACE projects.9,11,12,29 Data extraction will be based on key elements from the National Quality Forum criteria for Patient Reported Outcomes in Performance Measurement,30 which emphasize scientific acceptability (validity, reliability, responsiveness) and usability (feasibility and usefulness in clinical practice, quality indicators, or intervention evaluation). Literature searches and key informant interviews will inform our evaluation of key issues and research gaps across the three tool applications.

B. Data Presentation

Findings will be presented as an evidence map (format to be determined) following the guiding questions. Presentation will be organized in tables by palliative care domains, addressing the three tool applications (clinical care, quality indicators, intervention evaluation), settings, and populations. We will catalog included tools, their characteristics (Guiding Question 1), contexts of use (Guiding Question 2), and the state of research (Guiding Question 3). A summary of issues and gaps will answer Guiding Question 4.

References

[1] National Consensus Project for Quality Palliative Care. Clinical practice guidelines for quality palliative care. 3rd ed. Richmond (VA): National Coalition for Hospice and Palliative Care; 2013.

[2] National Consensus Project for Quality Palliative Care. Clinical practice guidelines for quality palliative care. Washington, DC: National Consensus Project for Quality Palliative Care; 2004.

[3] Ferrell BR, Temel JS, Temin S, et al. Integration of palliative care into standard oncology care: ASCO clinical practice guideline update. J Clin Oncol. 2017 Feb;35(8):961-986.

[4] Schwartz CE, Rapkin BD. Reconsidering the psychometrics of quality of life assessment in palliative care. Qual Life Res. 2004;13(2):221-226.

[5] Higginson IJ,หน่อย้ Carr AJ. Measuring quality of life in palliative care: using the McGill Quality of Life Questionnaire. J Palliat Med. 2001;4(2):169-178.

[6] Teno JM, Clarridge BR, Casey B, et al. Family perspectives on end-of-life care at home in the U.S.: national data from the SUPPORT principal investigators. SUPPORT Investigators. Study to Understand Prognoses and Preferences for Outcomes and Risks of Treatments. J Am Geriatr Soc. 1997 Feb;45(2):147-152.

[7] Lorenz KA, Lynn J, Dy SM, et al. Evidence on end-of-life care: systematic review and meta-analysis. Ann Intern Med. 2004 Oct 19;141(7):W1-W15, 495-505.

[8] National Institutes of Health. NIH State-of-the-Science Conference statement: improving end-of-life care. NIH Consens State Sci Statements. 2004 Dec 6-8;21(4):1-28.

[9] Lorenz KA, Dy S, Shekelle PG, Asch SM, Gifford AL, Wenger NS. End-of-life care. Rockville (MD): Agency for Healthcare Research and Quality (US); 2003 Aug. (Evidence Report/Technology Assessment No. 77).

[10] Wenger NS, Dy SM, Lorenz KA, et al. End-of-life care in patients with advanced cancer. Ann Intern Med. 2004 Oct 19;141(8):669-677.

[11] Shekelle PG, Lorenz KA, Dy SM, et al. PEACE: Palliative Excellence in Alzheimer Care Efforts: Quality measures for Alzheimer’s and other types of dementia at the end of life. Rockville (MD): Agency for Healthcare Research and Quality (US); 2007 Sep. (Prepared under Contract No. HHSA290-2004-00004C).

[12] Campbell ML, Templin T, Walch J, Lee SJ, LeBlanc TW. Palliative care for patients with refractory dyspnea. Am J Respir Crit Care Med. 2015 Oct 15;192(8):911-921.

[13] Etkind SN, Bristowe K, Selman LE, et al. The assessment of symptom burden in palliative care: the Patient Dignity Inventory and the McGill Quality of Life Questionnaire-Single Item. J Pain Symptom Manage. 2013 Dec;46(6):901-909.

[14] Higginson IJ,妹้หน่อยหน่อยหน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้หน่อย้