Docstoc

Lung cancer_UALR Assessment Progress Report 2003 Educational

Document Sample
Lung cancer_UALR Assessment Progress Report 2003 Educational Powered By Docstoc
					                                UALR Assessment Progress Report 2003

           Educational Administration and Supervision (EDAS) Graduate Programs
         Use of Assessment | Faculty and Stakeholders | Program Goals and Objectives

                       Methods of Measurement | Changes in Assessment Plan


Contact person: Keith Christy          wkchristy@ualr.edu

Use of Assessment for Program Building and Improvement 

The most important goal for any assessment project is to provide information to build and 
improve programs. This section should, therefore, be weighted the most heavily of all in your 
overall score evaluation. 

Results of the EDAS assessments were used to evaluate and improve the program and teaching of our candidates. 
The program faculty reviewed assessment findings and identified goals under each standard that students scored 
lower than 3.0 (4‐point scale). These areas are reinforced by the faculty in their course content. This has been 
accomplished through a variety of assessment measures including in‐class performance, gateway assessments, 
graduating student assessment and program graduates and their supervisors.  

Main findings: 

    1.   As measured by the previously presented assessment tools, the results indicate that candidates are 
         achieving the expected results as identified by the program standards.  
    2.   Students appreciate the positive climate demonstrated by the program faculty. “Students feel like family.” 
    3.   The cohort format of the Master’s degree has dramatically improved the completion rate. 
    4.   Course requirements need to be clearly stated and communicated. 
    5.   Research protocol must be consistent throughout all degree programs. 
    6.   Students need more emphasis on disaggregation of data for NCLB analysis. 
    7.   Inform administrative mentors of the changes to EDAS course of study for degrees and licensure that are 
         now standards‐based. 

A database is kept on the results for the identified assessment measures. The faculty reviews the information to 
determine areas needing improvement. Results of the annual assessment were also shared with department and 
college administrators, faculty of Educational Leadership, and EDAS students. The analysis involved an examination 
of whether or not the performance standards are being included and presented in the identified course content.  

The results of assessments and stakeholder feedback have indicated an effective program is being offered. A 
better communication of course expectations and improved internships are two areas of continuous improvement.  

The 2003 Unit Assessment System data revealed that the program of studies needed greater understanding of the 
administrator‐mentors that the internship experience requires much more intensive administrative work than the 
previous experiences of duty and paperwork activities. The assessment data are reviewed by faculty and 
stakeholders in the attempt to isolate those areas in the course of study that indicate need for improvements. 
These areas of improvement may be in course content, instructional delivery, and assessment practices. Faculty 
mentors will establish a working relationship and encourage field mentors to offer diversified administrative 
experiences for the interns.  
Please focus on evidence for or proposed changes that will lead to improvements in student learning outcomes. 
With the change in state licensure requirements and the change in national program standards, a major effort in 
2004 will be to identify the specific EDAS standards that most accurately reflect the state and national 
requirements. For this purpose, the results of licensure exams of program students will be reviewed and these 
results will be incorporated with our program assessment findings. 

.  

               
back to the top


Faculty and Stakeholder Involvement 

Stakeholder Participation in Assessment 

Graduating students complete the Candidate Profile in their last semester of studies. This 
information is compiled along with all other assessment data and presented to the meeting of 
Stakeholders by the program faculty. The outcomes of the stakeholder meetings are reflected 
in the previous discussion of “Major Findings.” Faculty have reviewed the findings and the 
discussion of “Significant Changes” reflects decisions arising from the assessment findings. 

Stakeholders were given all assessment data at the meeting on October 3, 2003. This 
information was accumulated from the results of the 2002 assessment report. Stakeholders 
provided feedback on those results and those comments are included in the previous sections.  

               
back to the top


Goals and Student Learning Objectives 

The following six standards form the foundation for program curriculum, instruction and 
assessment. These standards, goals, and objectives are found throughout the program of study 
and woven across the courses and significant activities that a student must successfully 
complete. These standards provide the common base of knowledge as defined by the Arkansas 
Department of Education and the learned societies of the profession. 

1.0. Vision of Learning ‐ The EDAS candidate for the M.Ed., Ed.S., or Ed.D. degree will be an 
educational leader who promotes the success of all students by facilitating the development, 
articulation, implementation, and stewardship of a vision of learning that is shared and 
supported by the school community. Upon completion of the EDAS program of study the 
student will be able to demonstrate that: 

          EDAS 1.1. the vision and mission of the school are effectively communicated to staff, parents, students, 
           and community members. (C) (ELCC 1.2; ADE I.5, IV.2)  
          EDAS 1.2. the core beliefs of the school vision are modeled for all stakeholders. (SE, C) (ELCC 1.3; ADE IV.3) 
          EDAS 1.3. the vision is developed with and among the stakeholders. (SE, C) (ELCC 1.1, 3.2; ADE I.3, 5. 7) 
          EDAS 1.4. progress toward the vision and mission is communicated to all stakeholders. (SE, C) (ELCC 1.2, 
           1.4, 1.5; ADE I 3) 
          EDAS 1.5. the school community is involved in school improvement efforts. (SE, C) (ELCC 1.5; ADE I.7) 
      EDAS 1.6. an implementation plan is developed in which objectives and strategies to achieve the vision 
       and goals are clearly articulated. (SE, C) (ELCC 1.3;  
       ADE I. 3.5) 
      EDAS 1.7. assessment data related to student learning are used to develop the school vision and goals. 
       (SE, C) (ELCC 1.2, 1.4; ADE I.12) 
      EDAS 1.8. existing resources are used in support of the school vision and goals. (SE, C) (ELCC 3.3; ADE II. 
       13, 14) 
      EDAS 1.9. needed resources are sought and obtained to support the implementation of the school mission 
       and goals. (SE, C) (ELCC 3.3, 4.2; ADE II.14) 
      EDAS 1.10. the vision, mission, and implementation plans are regularly monitored, evaluated, and revised. 
       (SE, C) (ELCC 1.4; ADE I.5) 

2.0. Curriculum, Instruction & Supervision ‐ The EDAS candidate for the M.Ed., Ed.S., or Ed.D. 
degree will be an educational leader who promotes the success of all students by advocating, 
nurturing, and sustaining a school culture and instructional program conducive to student 
learning and staff professional growth. Upon completion of the EDAS program of study the 
student will be able to demonstrate that: 

      EDAS 2.1. all individuals are treated with fairness, dignity, and respect. (C) (ELCC 5.1; ADE I.1) 
      EDAS 2.2. students and staff feel valued and important. (C) (ELCC 5.1.; ADE 5.1; VI.6.) 
      EDAS 2.3. professional development promotes a focus on student learning consistent with the school 
       vision and goals. (PD) (ELCC 2.2, 6.1; ADE V.1, 2, 3; VI.1, 3) 
      EDAS 2.4. barriers to student learning are identified, clarified, and addressed. (SE) (ELCC 2.1, 2.3, 4.2; ADE 
       VI. 2. 6) 
      EDAS 2.5. diversity is considered in developing learning experiences. (SE) (ELCC 2.2; ADE III.5; V.5, 7., 8, 9, 
       10) 
      EDAS 2.6. technologies are used in teaching and learning. (SE) (ELCC 2.3, 6.1; ADE V. 1, 2., 3; VI.1, 3) 
      EDAS 2.7. curriculum decisions are based on research, expertise of teachers, and the recommendations of 
       learned societies. (SE) (ELCC 2.2, 2.3; ADE III. 5; V.3, 5, 7, 8, 9, 10) 
      EDAS 2.8. student learning is assessed using a variety of techniques. (SE) (ELCC 2.1; ADE II.4, V.10) 
      EDAS 2.9. the school culture and climate are assessed on a regular basis. (SE, C) (ELCC 1.5; ADE III.1, 2, 4) 
      EDAS 2.10. pupil personnel programs are developed to meet the needs of students and their families. (SE) 
       (ELCC 3.1, 4.3; ADE III.4) 

3. 0. Professional and Ethical Leadership ‐ The EDAS candidate for the M.Ed., Ed.S., or Ed.D. 
degree will be an educational leader who promotes the success of all students by ensuring 
leadership and management of the organization, operations, and resources for a safe, efficient, 
and effective learning environment. Upon completion of the EDAS program of study the 
student will be able to demonstrate that: 

      EDAS 3.1. knowledge of learning, teaching, and student development are used to inform management 
       decisions. (SE) (ELCC 3.1; ADE I.4, 9; II.1, 17) 
      EDAS 3.2. the school plant, equipment, and support systems operate safely, efficiently, and effectively. 
       (SE) (ELCC 3.1; ADE II.11, 12) 
      EDAS 3.3. time is managed to maximize attainment of organizational goals. (SE) (ELCC 3.1; ADE I.8; II 17) 
      EDAS 3.4. problems are confronted and resolved in a timely manner. (C) (ELCC 3.2; ADE I.11) 
      EDAS 3.5. stakeholders are involved in decisions affecting schools. (C) (ELCC 1.5; ADE I. 5) 
      EDAS 3.6. effective communication skills are used. (C) (ELCC 3.2, 4.1, 4.2; ADE IV.1, 2, 3, 4) 
      EDAS 3.7. fiscal resources of the school are managed responsibly, efficiently, and effectively. (SE) (ELCC 
       3.1, 3.3; ADE II 13, 14) 
      EDAS 3.8. confidentiality and privacy of school records are maintained. (SE) (ELCC 3.1) 
      EDAS 3.9. responsibility is shared to maximize ownership and accountability. (C) (ELCC 3.1, 3.2; ADE I.7, 8, 
       9) 
      EDAS 3.10. financial, human, and material resources are aligned to the goals of the school. (C) (ELCC 3.3, 
       4.3; ADE II.13, 14) 

4.0. Communication ‐ The EDAS candidate for the M.Ed., Ed.S., or Ed.D. degree will be an 
educational leader who promotes the success of all students by collaborating with families and 
community members, responding to diverse community interests and needs, and mobilizing 
community resources. Upon completion of the EDAS program of study the student will be able 
to demonstrate that: 

      EDAS 4.1. high visibility, active involvement, and communication with the larger community is a priority. 
       (C) (ELCC 2.2, 4.2; ADE II.16) 
      EDAS 4.2. information about family and community concerns, expectations, and needs is used regularly. 
       (C) (ELCC 4.2; ADE II.16) 
      EDAS 4.3. credence is given to individuals and groups whose values and opinions may conflict. (C) (ELCC 
       4.1; ADE II.16) 
      EDAS 4.4. the school and community serve one another as resources. (C) (ELCC 3.1, 3.3; ADE II.15) 
      EDAS 4.5. partnerships are established with area business, institutions of higher education, and 
       community groups to strengthen programs and support school goals. (C) (ELCC 5.2, 6.3; ADE I.7; II.5.) 
      EDAS 4.6. community stakeholders are treated equitably. (C) (ELCC 5.2)  
      EDAS 4.7. diversity is recognized and valued. (C) (ELCC 1.1, 4.2) 
      EDAS 4.8. effective media relations are developed and maintained. (SE) (ELCC 4.1; ADE IV.4, 5) 
      EDAS 4.9. community collaboration is modeled for staff. (C) (ELCC 1.5; ADE I.7) 
      EDAS 4.10. opportunities for staff to develop collaborative skills are provided. (PD) (ELCC 2.2; ADE III.5) 

5.0. Ethics ‐ The EDAS candidate for the M.Ed., Ed.S., or Ed.D. degree will be an educational 
leader who promotes the success of all students by acting with integrity, fairness, and in an 
ethical manner. Upon completion of the EDAS program of study the student: 

      EDAS 5.1. demonstrates a personal and professional code of ethics. (C, PD) (ELCC 5.3; ADE I.1) 
      EDAS 5.2. demonstrates values, beliefs, and attitudes that inspire others to higher levels of performance. 
       (C) (ELCC 5.1; II.5) 
      EDAS 5.3. serves as a role model. (SE, C) (ELCC 5.1) 
      EDAS 5.4. accepts responsibility for school operations. (SE, C) (ELCC 3.2; I.10, 12) 
      EDAS 5.5. considers the impact of one's administrative practices on others. (SE) (ELCC 3.1) 
      EDAS 5.6. uses the influence of the office to enhance the educational program rather than for personal 
       gain. (SE) (ELCC 6.3; ADE I.1) 
      EDAS 5.7. treats people fairly, equitably, and with dignity and respect. (C) (ELCC 5.2; ADE III.3) 
      EDAS 5.8. protects the rights and confidentiality of students and staff. (SE) (ELCC 5.1; ADE III.4) 
      EDAS 5.9. demonstrates appreciation for and sensitivity to the diversity in the school community. (SE, C) 
       (ELCC 1.1; ADE III.4) 
      EDAS 5.10. applies laws and procedures fairly, wisely, and considerately. (SE, C) (ELCC 3.2, 3.3; ADE II.9) 

6.0 Influence ‐ The EDAS candidate for the M.Ed., Ed.S., or Ed.D. degree will be an educational 
leader who promotes the success of all students by understanding, responding to, and 
influencing the larger political, social, economic, legal, and cultural context. Upon completion of 
the EDAS program of study the student will be able to demonstrate that: 

      EDAS 6.1. the environment in which schools operate is influenced on behalf of students and their families. 
       (SE, C) (ELCC 4.2) 
      EDAS 6.2. communication occurs among the school community concerning trends, issues, and potential 
       changes in the environment in which schools operate. (C) (ELCC 6.1; ADE II.16) 
      EDAS 6.3. there is ongoing dialogue with representatives of diverse community groups. (C) (ELCC 6.1; ADE 
       II.16) 
      EDAS 6.4. the school community works within the framework of policies, laws, and regulations enacted by 
       local, state, and federal authorities. (SE) (ELCC 3.3, 6.3; ADE II.11) 
      EDAS 6.5. public policy is shaped to provide quality education for students. (SE, C) (ELCC 6.1; ADE II.9, IV.6) 
      EDAS 6.6. lines of communication are developed with decision makers outside the school community. (C) 
       (ELCC 4.1; ADE II.16) 

Changes in Goals Since Last Year 

Two new full‐time program faculty members were trained on the ELCC standards through a 
workshop supported by the Arkansas Department of Education at the Educational Testing 
Services test scoring in Princeton, NJ. This training has helped program faculty in developing, 
revising, and changing the scope and content of their respective courses. 

Changes since last year included the revision of curriculum documents to reflect those 
suggested by the Educational Leadership Consortium Council (ELCC). These changes included 
the following: 
Stewardship of a school vision will be experienced and assessed by completion of the EDAS 
7209, School‐Community Coalition Framework and EDAS 7310, Facilitating School Change.  

Candidates will use and be assessed for the use of data‐based research in development of the 
EDAS 7209, School‐Community Coalition Framework; EDAS 7300, Challenging Entrenched 
Behaviors; and EDAS 7306/7307, Strategic Plan. These significant activities have components 
that analyze data for collecting and analyzing data by means of qualitative and quantitative 
procedures. 

Candidates learn and are assessed in the techniques of mobilizing community resources 
through the Study Circle method combined with the School‐Community Profiling Process that 
culminates in the EDAS 7209, School‐Community Coalition Framework; and EDAS 7300, 
Challenging Entrenched Behaviors. Mobilizing community resources and acquiring support for 
funding are included and assessed in the EDAS 7306/7307, Strategic Plan; and EDAS 7380, 
Internship. 

District‐level candidates will develop skills and be assessed developing lines of communication 
with local, state, and federal authorities and to advocate for policies and programs that 
promote equitable learning opportunities and success for all students in: EDAS 8307, 
Sociocultural Foundations of Education Policy; EDAS 8308, Curriculum Audit; EDAS 8317, Policy 
Issue; and EDAS 8380, Central Office Internship  
Building‐level candidates are required to serve a two‐semester internship in diverse school 
settings, EDAS 7380, near the completion of the program of study. In addition, courses have 
significant activities that require planned activities at building‐level sites throughout the 
program of study. The total time for the internship activities is 360 hours during the total 
course of study for building‐level licensure. 

District‐level candidates are required to serve a one‐semester internship in a central office 
capacity, EDAS 8380, near the completion of the program of study. In addition, courses have 
significant activities that require planned activities at district‐level sites throughout theprogram 
of study. The total time for the internship activities would be 180 hours during the total course 
of study for district‐level licensure. 

               
back to the top


Measurement Methods  

Changes since last report ‐ Rubrics have been developed for the significant activities in each of 
the courses. This change was made for the purposes of establishing curriculum consistency and 
to make the assessment measures more valid and reliable. 

Measurement Methods for 2003 ‐ Rubrics will be developed that include changes in course 
content and instructional delivery. Also, as program faculty gain insight on the use of rubrics 
changes will be made on a course‐by‐course basis.  
 
Reliability and Validity of Assessment Measures ‐ Rubrics will be used as validity and reliability 
measures.  

It is important that these assessment tools be consistent in providing data that will be used to 
make programmatic decisions. The methods for testing reliability of the assessments will be 
through techniques of interrater, pretest/posttest, intrarater, and by subsequent scoring of 
previous artifacts. Validity will also be an aspect that faculty members must address in the 
creation of their course outlines. The validity will be assured through the incorporation of 
appropriate ADE, ELCC, NCATE, and ISLLC standards into assessment instruments that measure 
goal attainment.  

Relationship of 2002 Goals Measurement to 2003 Measurement ‐ The current focus on program 
assessment derived out of the development of the Unified Assessment Plan document and 
related assessment processes over the past two years. EDAS’s capacity to establish, monitor, 
and assess program goals is developmental with the assessment report of the previous year 
providing direction and clarity for the proceeding year.  

               
back to the top


Changes in Assessment Plan Based upon 2002 Feedback 
Classroom Assessments include: research papers; exhibits; simulations; exams; case studies,; 
observations. It was found that rubrics are useful in gaining consistency of curriculum and 
instruction delivery. Rubrics for the course Significant Activities have been created.  

The Portfolio Assessment is the culminating experience for Master of Education and 
Educational Specialist students as a requirement for graduation. Three raters judge the 
portfolio, one of which is a practicing administrator and two EDAS faculty members. The raters 
judge the portfolio contents using the Portfolio Assessment instrument The candidate will be 
considered to have passed this requirement by having all 9 of the components rated as a 3 or 4 
by each rater. In case any item is rated a 1 or 2 by any rater, the raters shall confer and 
determine what actions, if any, the candidate may do to improve any unacceptable rating. If the 
candidate does not meet these standards, the student will not receive the desired academic 
degree from this institution. Portfolio presentations were conducted during the Spring 
Semester, Summer Semester, and Fall Semester of 2003. Generally, the portfolios were judged 
to be of excellent quality. The mean of means for the nine criteria was 3.93 of a four‐point scale 
with 4.0 being rated “Excellent Evidence.” There were 19 portfolio assessments completed 
during 2003. There were no students that were judged to need additional work on the 
portfolio.  

The Portfolio Presentation assessment is used to judge the manner of presentation and 
communication skills demonstrated by the candidate. The raters judge the portfolio 
presentation using the Portfolio Presentation instrument. The candidate is considered to have 
passed this requirement by having all 10 of the components rated as a 3 or 4 by each rater. In 
case any item is rated a 1 or 2 by any rater, the raters shall confer and determine what actions, 
if any, the candidate may do to improve any unacceptable rating. If the candidate does not 
meet these standards, the student will not receive the desired academic degree from this 
institution. All 19 candidates in 2003 passed the presentations. 

The Internship is the culminating experience for the Master of Education student. It is a two‐
semester commitment taken during the last year of the student's program of study. This 
internship is done at a site or sites that have mutual agreement among the intern, the 
administrator mentor, and university mentor. The purposes of the EDAS internship experience 
include: (a) to develop and practice administrative skills in diverse settings; (b) to provide the 
student with significant opportunity to synthesize and apply knowledge; (c) to provide 
prospective administrators with the opportunity for learning under the supervision of 
experienced educators; (d) and to provide certification upon the demonstration of the principal 
intern’s ability to meet the administrator standards.  

The Internship Assessment is the summative assessment from each semester of the internship 
experience. The instrument used to measure the internship experience from each semester is 
the EDAS Candidate Profile completed by the administrative mentor. Internship Assessments 
were completed for those candidates practicing building‐level (44) and district‐level (17) 
administrative internships during the fall and spring 2003 semesters. 
Comprehensive examinations were administered to 20 Doctor of Education students in 2003. 
All students taking the examination passed.  

The doctoral dissertation was completed by 19 students during 2003. All students passed the 
oral defense of the dissertation and graduated with the Doctor of Education degree. 

A student survey was administered during the Spring Semester 2003 by the graduating students 
in the Master of Education cohort. The results of this assessment are used for program 
improvement. A rating for any item on the survey of 1.0‐2.5 requires the faculty to review 
course content and instructor records to identify the problem and recommend changes to 
faculty to make needed corrections. All ratings have been above 3.0 on the rating scale.  
 
The EDAS Candidate Profile is a measure of candidate assessment. The instructor updates the 
Profile during the semester in which the candidate is enrolled in EDAS 7300, EDAS 7310, and 
EDAS 7380, second semester. The candidate profile provides a rating for each of the Student 
Learning Objectives to achieve a numerical mean for each objective. A student will continue in 
the program of study without intervention when each of the objectives receive a range of 2.0 ‐
4.0. A mean score on any objective between 1.0‐2.0 will have in intervention plan that will 
include specific expectations to overcome these identified weaknesses in the candidate's 
development. Should improvement not be shown, the candidate will be removed from the 
program of studies. There were no candidates in this assessment period that were below the 
2.0 rating. 

The Dispositions assessment involves judging the values and attitudes that graduate student 
candidates demonstrate when working with others in group settings. These dispositions are 
reflective of values, attitudes and practices that affect cognitive knowledge and success in 
performance in the field of administration. The measure of dispositions is accomplished 
through the Work Team Members Dispositions. Students respond to each statement on a four‐
point scale (4‐ Always, 3‐Mostly, 2‐Sometimes, 1‐Never). The rating is completed by each 
individual student to measure group dispositions and individual dispositions. Dispositions 
ratings were above 3.0 in all categories. 

The School Leader Licensure Assessment (SLLA) is taken by all candidates seeking Building 
Administrator licensure and/or Curriculum/Program Administrator licensure. The exam may be 
taken immediately following the last semester of the student's program of study, but is not a 
requirement for graduation. The exam is not required for licensure until a candidate has 
secured a building–level administrative position. A student must attain at least a score of 158 to 
apply for the Arkansas Principal or Curriculum/Program Administrator License. An overview of 
the SLLA is provided in a workshop with students scheduled to take the exam. Results from 
2003 show that all 9 students taking the test did exceed the passing score. Two program faculty 
served as scorers for the SLLA test administration from 2003. These faculty gained first‐hand 
experience in the mechanics of this nationally administered test. 
The School Superintendent Licensure Assessment (SSA) must be taken by all candidates seeking 
the superintendent license. The exam is usually taken during the last semester or immediately 
following the student's program of study. No results have yet been obtained from this 
assessment. 

Changes in Assessment Plan for 2004 ‐ The same measures will be used for program and 
candidate assessment in calendar year 2004. 

In addition, the portfolio contents will be maintained by Chalk and Wire. This program will also 
be used to assimilate data on program effectiveness. Beginning in the Summer Semester, 2004, 
students will utilize this program in the required course, LSTE 7240, Computer Applications for 
Administrators. 

 

				
DOCUMENT INFO
Shared By:
Categories:
Tags:
Stats:
views:3
posted:12/10/2012
language:English
pages:9