new product development stages

Document Sample
new product development stages Powered By Docstoc
					    Bernd Skiera, Martin Spann

    Opportunities of Virtual Stock Markets
    to Support New Product Development

1   Introduction........................................................................................................................ 3

2   Opportunities of the Internet for New Product Development..................................... 4

3   Virtual Stock Markets and Their Use in New Product Development Stages............. 5

4   Empirical Study.................................................................................................................. 8
    4.1 Design of the Study .................................................................................................. 9
    4.2 Forecast Accuracy..................................................................................................... 9
    4.3 Performance Compared to Expert Judgments .................................................... 11
    4.4 Factors Influencing Forecast Error ....................................................................... 12

5   Summary and Conclusions............................................................................................. 13

6   References ......................................................................................................................... 14
    Bernd Skiera, Martin Spann

    Opportunities of Virtual Stock Markets to Support New Product Development

1            Introduction
Although the Internet has not fulfilled all expectations of the stock markets, it has been 
adopted  by  many  consumers  and  companies  all  around  the  world.  Recent  studies 
report a 53.5% adoption rate among consumers in Germany (Eimeren et al. 2003) and a 
60% adoption rate among consumers in the United States (Rayport and Jaworski 2001). 
In Western Europe alone, more than 250 Mio. consumers are expected to have access to 
the Internet in 2005 (European Information Technology Observatory 2004). Worldwide 
business‐to‐business electronic commerce is expected to be greater than 1 Trillion USD 
in 2003 (Rayport and Jaworski 2001). This wide acceptance of the Internet alters prod‐
uct  development  (Dahan  and  Hauser  2002).  Yet,  new  product  development  still  re‐
mains difficult and costly (Di Benedetto 1999, Brockhoff 1999). The flop rates of newly 
launched  products  remain  high  over  the  years,  often  surpassing  50%  (Urban  and 
Hauser  1993).  Hence,  even  small  improvements  in  the  new  product  development 
process can have a major effect on companiesʹ profits and competitive advantage if this 
flop rate is reduced.  

Therefore, new methods to improve new product development are of high relevance 
for  companies.  Virtual  stock  markets  could  be  such  a  method.  They  have  recently 
gained much attendance (Spann and Skiera 2003c, Wolfers and Zitzewitz 2004, Polk et 
al.  2003)  and  even  the  Pentagon  considered  virtual  stock  markets  as  a  tool  to  better 
forecast  economic  and  political  stability  (Hulse  2003).  The  basic  idea  of  virtual  stock 
markets is to make future events or market situations expressible and tradable through 
virtual  stocks  (Spann  and  Skiera  2003b,  Forsythe  et  al.  1992).  Thereby,  the  cash  divi‐
dend  (payoff)  of  such  shares  of  virtual  stocks  depends  on  a  particular  outcome,  e.g., 
the success of a software development project (Ortner 2000), product sales (Plott 2000), 
goodness of new product concepts (Chan et al. 2002) or new product sales (Spann and 
Skiera  2003a).  Studies  show  that  virtual  stock  markets  might  have  the  potential  to 
support new product development successfully (Spann and Skiera 2003a). Yet, none of 
those  studies  provided  a  comprehensive  analysis  about  the  particular  stages  of  new 
product development that might be supported. In addition, little is known about the 
factors that influence the forecasting accuracy of virtual stock markets. 

Therefore, the aim of this paper is to analyze the opportunities of virtual stock markets 
to support new product development and to empirically determine factors that influ‐
ence the forecasting error of virtual stock markets. For that reason, we analyze in Sec‐
tion 2  the  impact  of  the  Internet  on  new  product  development.  Section 3  describes 
virtual stock markets and their opportunities to support the different stages of the new 
product  development  process.  In  Section 4,  we  describe  an  empirical  study  that  uses 
virtual  stock  markets  to  forecast  the  success  of  new  products,  compare  forecasting 
accuracy with those of expert judgments and analyze the factors that influence forecast 
accuracy. Section 5 summarizes the implications of the paper. 

Bernd Skiera, Martin Spann

2             Opportunities of the Internet for New
              Product Development
Brockhoff (1999) proposes to distinguish five stages of the new product development 
process,  namely  (i)  idea  generation  and  screening,  (ii)  development  of  product  con‐
cepts, (iii) research & development, design and engineering of product prototypes, (iv) 
product  testing  and  (v)  product  launch.  Others  share  this  point  of  view  (Urban  and 
Hauser 1993, Dahan and Hauser 2002). Therefore, we use these five stages to structure 
the different ideas that have been proposed to support new product development (see 
Figure 1). 

Figure 1:      Opportunities of the Internet to support stages of new product development 

         Stages of New Product               Opportunities of the Internet
             Development                          to Support NPD
              Idea generation             • Analysis of Online Communities and
                & screening                 Newsgroups
                                          • Web-based Creativity Contests
                                          • Web-based Lead User Identification
                                          • Web-based Conjoint Analysis

                                          • Web-based Design Collaboration
                  Design &
                                            Tools to link multinational
                                            development teams

                                          • Web-based Concept Testing (e.g.,

                                           • Promotion via Communities
                                           • Product Websites (e.g., movies)

Figure 1  provides  an  overview  of  the  opportunities  of  the  Internet  to  support  new 
product  development.  The  idea  generation  and  screening  stage  can  be  supported  in 
several ways by the Internet. Online communities and newsgroups can be systemati‐
cally analyzed for new product ideas. In addition, creativity and idea generation con‐
tests can be easily organized via the Internet (Ernst et al. 2004). Thereby or in connec‐

    Opportunities of Virtual Stock Markets to Support New Product Development

tion with an online survey, a company can try to identify lead users, which it can then 
use as a source for new product ideas (Urban and Von Hippel 1988, Brockhoff 2000). 

In the product concept stage, consumer preferences for different new product concepts 
can  be  evaluated  via  web‐based  preference  elicitation  tools  such  as  conjoint  analysis. 
Thereby, the presentation of new product concepts as well as the preference elicitation 
method can be conducted completely online, saving time and money, as well as mak‐
ing use of the graphic and audio capabilities of the world wide web to depict virtual 
products and product features ((Dahan and Hauser 2002, Dahan and Srinivasan 2000, 
Ernst  and  Sattler  2000).  In  addition,  the  computational  capabilities  of  the  Internet  al‐
low to dynamically adapt web‐pages in real time (Toubia et al. 2003). 

Web‐based  design  collaboration  tools,  such  as  computer  aided  design  (CAD)  and 
computer  aided  manufacturing  (CAM),  linked  to  a  companyʹs  knowledge  manage‐
ment system, can support interaction between multi‐regional and multi‐national R&D‐
teams. Further, such tools and online communities in a company intranet as part of its 
knowledge  management  system  can  enhance  collaboration  between  different  depart‐
ments engaged in the design and engineering stage of the new product development 
process (Grover and Davenport 2001). 

Product prototypes can be tested among an online community as part of the product 
testing stage (Panten et al. 2001). Web‐based preference elicitation tools can be applied 
at this stage as well. 

The launch of a product can be supported by specific product websites (e.g. for mov‐
ies),  which  inform  consumers  about  the  product  and  thereby  help  to  reduce  buyer 
uncertainty for fairly new products. Further, new products can be promoted via online 
communities and newsgroups (Albers et al. 1998). In addition, product placements in 
Online games can provide a new opportunity to promote products. 

3            Virtual Stock Markets and Their Use in
             New Product Development Stages
The  idea  of  virtual  stock  markets  is  to  bring  a  group  of  participants  together  via  the 
Internet and let them trade shares of virtual stocks. These stocks represent a bet on the 
outcome of particular future events and their value depends on the realization of these 
events.  Once  the  occurrence  of  the  particular  event  is  known,  each  share  of  virtual 
stock receives a cash dividend (payoff) according to that particular event (e.g., $1 for 
each unit sold). As those ʺstocksʺ are actually securities because their terminal values 
are  contingent  upon  the  outcome  of  an  uncertain  event,  some  authors  use  the  label 
ʺsecurityʺ (Dahan and Hauser 2002, Chan et al. 2002). However, in accordance with the 

Bernd Skiera, Martin Spann

major  part  of  the  literature  dealing  with  virtual  stock  markets  (e.g.,  Forsythe  et  al. 
1992, Forsythe et al. 1999, Spann and Skiera 2003b), we use the denomination ʺstocksʺ 
because that makes the concept easier to understand for the major part of the partici‐

Such types of virtual stock markets were first applied in the form of a political stock 
market to predict the outcome of the Bush vs. Dukakis US presidential election in 1988 
(Forsythe  et  al.  1992). Afterwards,  virtual  stock  markets  were  used  to  predict  the  re‐
sults of many other elections (Forsythe et al. 1999, Spann 2002). Later on, researchers 
started to apply virtual stock markets to solve business problems. Ortner (2000) uses 
virtual stock markets for the success of a software development project, Plott (2000) for 
predicting  product  sales  and  Spann  and  Skiera  (2003a)  for  forecasting  new  product 
sales. Most recently, the Pentagon intended to use virtual stock markets to derive fore‐
casts concerning foreign policy events, e.g., a coup dʹétat in certain countries (Polk et 
al. 2003, Spann and Skiera 2003c).  

The basic idea behind virtual stock markets is that the price of one share of a virtual 
stock  should  correspond  to  the  virtual  stock  marketʹs  aggregate  expectations  of  the 
event  outcome  because  participants  of  the  virtual  stock  markets  use  their  individual 
assessment of the particular event to derive an individual expectation of the cash divi‐
dend  of  the  related  share  of  virtual  stock.  According  to  the  Hayek  hypothesis,  the 
market  mechanism  should  be  the  best  way  to  aggregate  the  individual  assessments, 
because the price mechanism on a competitive market is the most efficient instrument 
to aggregate the asymmetrically dispersed information of market participants (Hayek 
1945, Smith 1982). 

Virtual  stock  markets  can  be  used  as  an  information  gathering  tool  to  support  new 
product development. The different opportunities of virtual stock markets to provide 
market intelligence in the new product development process are displayed in Figure 2, 
again using the distinction into five stages proposed by Brockhoff (1999). 

In the idea generation and screening stage an online community can be created, which 
is organized around existing products that are traded on a virtual stock market. One 
example  is  the  Hollywood  Stock  Exchange  (  that  performs  a  virtual 
stock  market  on  the  success  of  new  movies  and  contains  a  major  virtual  community 
dealing with movie related topics. Thus, trading on the virtual stock market stimulates 
consumers to express and discuss new product ideas as well as new product success 
factors  in  the  online  community.  The  systematic  analysis of  this  community  can  pro‐
duce  new  product  ideas  (Ernst  et  al.  2004).  Further,  participants  of  this  virtual  stock 
market can be analyzed in order to detect lead users (Spann et al. 2003). 

In  the  product  concept  stage,  a  virtual  stock  market  can  try  to  assess  consumersʹ  ag‐
gregated preferences for different new product concepts taken up ideas that have been 
proposed by Chan et al. (2002). One major problem of the design applied by Chan et 
al. (2002) is that the payoff value of stocks and thus the assessment of product concepts 

    Opportunities of Virtual Stock Markets to Support New Product Development

could be biased by a self‐fulfilling prophecy (Spann and  Skiera 2003a). The reason is 
that  Chan  et  al.  (2002)  use  the  final  price  in  the  stock  market  as  payoff  value.  Spann 
and  Skiera  (2003a)  propose  a  design  modification  of  a  payoff  based  on  the  results  of 
two  parallel  experimental  groups  that  might  solve  this  problem  if  each  groupʹs  final 
stock price is used as the payoff for the stock prices of the other group. 

At the design and engineering stage, different design and development solutions can 
be  evaluated  at  a  virtual  stock  market  on  a  companyʹs  intranet.  Thereby,  the  assess‐
ments  on  the  feasibility  and  efficiency  of  different  construction  and  manufacturing 
solutions can be traded by one or several R&D‐teams. Further, the inclusion of mem‐
bers  for  the  marketing  department  as  traders  can  add  market‐related  information. 
Virtual  stock  markets  might  especially  be  beneficial  in  such  situations  because  the 
aggregation of the individual estimates will not be biased due to different positions in 
a  companyʹs  hierarchy  (Spann  2002).  Spann  and  Skiera  (2003a)  show  in  a  different 
context that even virtual stock markets with only 12 participants are large enough to 
get good results.  

Figure 2: Opportunities of Virtual Stock Markets to Support New Product Development 

          Stages of New Product                 Opportunities of Virtual Stock
              Development                         Markets to Support NPD
                Idea generation              • Analysis of Online Community
                  & screening                  centered around product related VSM
                                             • Lead User Identification via VSM

                   Concepts              ⎫
                                         ⎪ • Concept & Product Testing via VSM
                    Design &
                    Engineer             ⎬ • Combination of VSM and traditional
                                         ⎪ marketing research methods
                    Testing              ⎪
                    Product                  • Pre-Launch Forecasting
                    Launch                   • Identification of Target Groups


Product  prototypes  can  be  tested  in  a  virtual  stock  market  so  that  participants  can 
trade their assessments on the market success of these different prototypes (Chan et al. 

Bernd Skiera, Martin Spann

2002).  Thereby,  additional  information  could  be  elicited  by  combining  a  virtual  stock 
market with traditional survey and focus group methods on the same set of consum‐
ers,  because  trading  in  the  virtual  stock  market  can  stimulate  consumers  to  focus  on 
the subject and quantify their assessment of market success (Spann and Skiera 2003b). 

Virtual  stock  markets  can  be  used  for  pre‐launch  forecasting  of  a  productʹs  market 
success. Such forecasts are very useful for a company in order to optimize their prod‐
uct‐launch  related  marketing  instruments.  For  example,  a  movie  studio  can  use  this 
information  to  decide  on  promotions  and  advertising  related  to  the  movieʹs  release. 
Movie exhibitors can plan on whether to display the movie in large or small theatres. 
(Spann and Skiera 2003b). Further, an analysis of tradersʹ portfolios and trading behav‐
ior might be useful for the analysis of target groups (Spann and Skiera 2003a). 

Compared  to  other  knowledge  gathering  techniques  applicable  in  the  new  product 
development process, virtual stock markets offer the following advantages (Spann and 
Skiera 2003b, Dahan and Hauser 2002): First, they allow for an almost real‐time reac‐
tion of stock prices to additional information and, hence, a very quick prediction of the 
impact of that information on future market situations. Second, it does not burden the 
researcher  with  the  task  of  weighting  and  aggregating  different  expert  judgments  as 
this  is  achieved  by  the  trading  mechanism  implemented  in  the  virtual  stock  market. 
Participants, for example, weight their assessments by the volume and the price of the 
purchase  or  sale  order  they  place  or  accept.  Third,  once  established,  a  virtual  stock 
market can operate at rather moderate operating costs, e.g. for repeated new product 
concept tests. Fourth, a virtual stock market provides participants with an incentive to 
reveal  their  true  assessments  (Forsythe  et  al.  1999),  if  an  adequate  remuneration  is 
properly  linked  to  the  participantsʹ  performance  on  the  virtual  stock  market.  Hence, 
whereas  many  consumer  surveys  remunerate  consumers  for  their  participation  at  a 
survey,  a  virtual  stock  market  usually  remunerates  participants  for  their  successful 
participation  (Spann  and  Skiera  2003b,  Dahan  and  Hauser  2002).  Wertenbroch  and 
Skiera  (2002)  show,  for  example,  that  consumersʹ  willingness‐to‐pay  differs  signifi‐
cantly  according  to  the  incentive  structure  being  provided.  Finally,  participants  in  a 
virtual  stock  market  might  have  more  fun  than  their  counterparts  partaking  in  con‐
sumer or expert surveys (Dahan and Hauser 2002). 

4           Empirical Study
The goal of the following empirical study is to analyze the use of a virtual stock mar‐
ket to predict the success of new products prior to their launch. Thereby, we analyze 
the feasibility, the forecast accuracy and the factors influencing forecast accuracy of a 
virtual  stock  market  to  predict  the  success  of  new  products,  namely  the  success  of 

    Opportunities of Virtual Stock Markets to Support New Product Development

movies in Germany. Movies face high financial stakes for production and marketing, a 
significant  failure  rate,  and  rather  unstable  market  conditions.  (e.g.,  Sawhney  and 
Eliashberg 1996 or Eliashberg et al. 2000). Hence, we look at a virtual stock market that 
has been used as a pre‐launch forecasting tool in the product launch stage. 

4.1          Design of the Study
We  conducted the  movie exchange  ( seven times for the prediction 
of movies, using our own virtual stock market software (the first round also included 
the chart position of 11 pop music singles in Germany which we omit for our analysis). 
We conducted a virtual stock market for the prediction of the box‐office success (num‐
ber  of  visitors)  of  movies  in  Germany.  During  the  seven  rounds  of  CMXX,  virtual 
stocks for ten to fifteen movies were traded in each round. In total, virtual stocks were 
traded for eighty‐one movies. At the end of CMXX, each share of movie stock received 
a  cash  dividend  (payoff)  according  to  the  total  number  of  visitors  of  the  respective 
movie in Germany until the end of the specific round.  

Prices  were  limited  to  $3,000  (virtual)  in  the  first  round,  and  $3,500  (virtual)  in  the 
following rounds for movie stocks, considering that more than 3,000,000 and 3,500,000 
movie  visitors were  unrealistic  in  Germany.  In  the  first  round,  CMXX  provided  non‐
monetary incentives in the form of a ʺGolden Recordʺ and ten music CDs for the par‐
ticipant with the highest portfolio value, five and three music CDs respectively for the 
participants  with  the  second  and  third  highest  portfolio  values.  Four  sets  of  movie 
merchandise were given to randomly chosen participants ranking fourth to one hun‐
dredth according to final portfolio value. In the second to seventh rounds, the partici‐
pant  with  the  highest  portfolio  value  in  each  round  received  an  annual  ticket  for  a 
large  German  movie  exhibitor;  the  participants  with  the  second  and  third  highest 
portfolio value received ten free movie tickets and a set of movie merchandise, respec‐
tively. Table 1 provides an overview of the design of the movie exchange. 

4.2          Forecast Accuracy
The price of a share of a movie stock represents a prediction of the number of visitors 
for the selected movie up until the end of the specific round. Thus by multiplying the 
stock  price  with  1,000,  the  forecast  of  a  movieʹs  number  of  visitors  can  be  easily  de‐

Bernd Skiera, Martin Spann

Table 1:       Design of the Movie Exchange 

Step                         Decisions

Choice of Forecasting Goal   Forecasting the number of movie visitors in Germany

                             Payoff function: Movie visitors in Germany: 1 virtual Euro per
                             1,000 visitors of a movie

                             Duration: First round: 22 January – 5 February 2001;
                             [Second to seventh rounds: Duration of one month each between
                             May and October 2001]

                             Open to the public; participants can join at any time

Incentives for               Composition of Initial Portfolios / Endowment:
Participation and
                             Endowment of 100 shares of each type of movie stock and
Information Revelation
                             $500,000 [$250,000] (virtual) per participant

                             Provision of loans up to $500,000 [$250,000] (virtual) at no interest
                             rate per participant

                             Remuneration / Incentive Mechanism:
                             Nonmonetary rewards

                             Rank-order tournament: Rewards for participants with the highest,
                             second highest and third highest increase in (virtual) portfolio
                             value (annual movie ticket, 10 free movie tickets, movie merchan-

                             Time interval: Whole virtual stock market duration

                             Incentives not based on performance: First round: Lottery for four
                             rewards among participants ranked fourth to one hundredth

Financial Market Design      Double auction trading mechanism with open order book

                             Trading times: Twenty-four hours a day, seven days a week
                             No short trading

                             Order types: Limit and market without temporal restriction

                             No position limits, maximum price limits of 3,000 [3,500] for movie

                             No trading fee

In each round, the movie exchange attracted around fifty actively trading participants. 
The forecasts derived from CMXX used the price of the last trade of a specific type of 
stock before trading was stopped at the end of a specific round. CMXX faced the prob‐
lem that it included movies with very few visitors and presumably little information 
available among the participants (e.g., the movie ʺalthan.comʺ had only 20,000 visitors 
compared to 2,296,000 visitors for ʺUnbreakableʺ). Consequently, forecast accuracy for 

      Opportunities of Virtual Stock Markets to Support New Product Development

the  less  publicized  movies  below  100,000  visitors  was  rather  bad  with  an  absolute 
percentage error of above 100% each (see Table 2).  

Table 2:        Forecast Error of Movie Exchange 
APE         Round 1 Round 2 Round 3 Round 4 Round 5 Round 6 Round 7 Overall
Movie 1          .024     26.889        .096        .050      .048       .012        .030
Movie 2         2.776       .232        .061        .198      .010      5.000        .028
Movie 3          .332       .031        .400        .130      .032       .252        .505
Movie 4          .190       .570      1.667         .956      .170       .018        .031
Movie 5          .057       .307        .123       2.824      .333       .053        .190
Movie 6          .141       .222        .208        .055      .102       .189        n.a.
Movie 7         9.667       .170        .378        .407     5.600      1.000        .281
Movie 8          .705      2.784      7.214         .297      .153       .250      2.049
Movie 9         3.516       .005        .074        .835      .701        n.a.       .040
Movie 10         .630      3.839      2.258        2.390     3.115       .080        .500
Movie 11         .250       .263     49.000        1.041     1.935        n.a.       .013
Movie 12                  13.318                   1.174                 .479      3.895
Movie 13                    .118
Movie 14                    .133
Movie 15                   5.507
MAPE            1.663      3.626      5.589         .863     1.109       .733        .687    2.119
Median           .332       .263        .378        .621      .170       .220        .190     .263
Min              .024       .005        .061        .050      .010       .012        .013     .010
Max             9.667     26.889     49.000        2.824     5.600      5.000      3.895    49.000

Bold print: Movies having over 100,000 visitors.
n.a.: Movie release postponed.
APE: Absolute Percentage Error.

4.3          Performance Compared to Expert Judgments
The  performance  of  the  CMXX  results  is  compared  to  corporate  expert  predictions 
from the management of a large German movie exhibitor that we were able to collect 
for  the  first  two  rounds  but  not  for  additional  rounds  (see  Table  3).  We  compare  the 
predictions  of  CMXX  directly.  The  expert  predictions  were  provided  approximately 
one week before the end of each round of CMXX and were not made available to the 
participants of CMXX. The CMXX hit rate in the first round was six out of ten for mov‐
ies (for the eleventh movie the CMXX prediction and the expert prediction were iden‐
tical). In the second round, the CMXX hit rate was eleven out of fifteen in comparison 
to the expert predictions from the movie exhibitor. Table 3 compares the Mean Abso‐

Bernd Skiera, Martin Spann

lute  Percentage  Error  (MAPE)  of  CMXX  to  that  of  the  expert  predictions  for  movies 
having over 100,000 visitors. The forecasts of CMXX are significantly better than those 
of  the  experts,  indicating  that  either  CMXX  performed  well  and/or  that  the  experts 
performed poorly.  

Table 3:          Comparison between Predictions of CMXX and Experts (Movies > 100ʹ visitors) 

                                                                    CMXX % improvement (p-
     Instrument                  CMXX: MAPE       Experts: MAPE           a)

     Round 1*                    13.83%           47.46%            70.86% (.331)

     Round 2*                    20.50%           115.73%           82.29% (.010)

     Round 1+2*                  18.59%           96.20%            80.68% (.005)
     Percentage of improvement of CMXX over alternative expert judgments:
     = [MAPE Expert – MAPE CMXX] / MAPE Expert (two-tailed paired t-test for difference)

*     Movies having over 100,000 visitors.
MAPE: Mean Absolute Percentage Error.

4.4               Factors Influencing Forecast Error
The results of our empirical study demonstrate, that virtual stock markets can some‐
times  produce  rather  weak  results.  Therefore,  it  is  important  to  derive  factors  which 
can indicate the expected forecast accuracy of a virtual stock market. In this section we 
will analyse the influence of different exogenous and endogenous factors on the fore‐
cast error of the movie exchange. Exogenous factors are the ones which are not derived 
from the virtual stock market itself, but rather depend on the product being used on 
the virtual stock market: the distribution intensity of movies in the form of the number 
of screens a movie is released on opening weekend as well as the genre of a movie (see 
Table 4). Endogenous to the stock market is the stock price volatility of a specific stock 
on the last 5 days of trading at the virtual stock market. 

Table 4:             Coding According to Genre of Movie 

     Movie Genre                Action/Thriller   Drama/Romance      Comedy         Rest

     Number of Movies                  22                  18              26              15

     ANOVA (Impact of genre on forecast error): F-Value = 1.116, p-value = .348

         Opportunities of Virtual Stock Markets to Support New Product Development

Table 5 displays the estimation results for the influence of endogenous and exogenous 
factors  on  the  forecast  error  of  all  81  movies  traded  at  the  movie  exchange.  Thereby, 
only price volatility and the number of movie screens at the opening weekend exert a 
significant  influence.  However,  these  two  variables  (one  exogenous  and  one  endoge‐
nous)  display  a  significant  negative  correlation  (Pearson:  ‐.400  (p‐value:  .000)).  Thus, 
both, the exogenous factor of the number of screens, as well as the endogenous factor 
of price volatility can indicate the expected forecast accuracy of the virtual stock mar‐
ket. If we omit from the 81 movies the 20% having the highest price volatility, then the 
mean forecast error reduces from 211.9% to 97.13%. The cut of value for the price vola‐
tility is a coefficient of variation of 0.509 or 50.9% in this case. Analogously, if we omit 
from the 81 movies the 20% having the lowest number of screens on opening weekend, 
then the mean forecast error reduces from 211.9% to 69.79%. The cut of value for the 
number of screens is 119 in this case. The latter results are in line with the forecasting 
errors  (71.1%)  of  Sawhney  and  Eliashberg  (1996)  in  a  study  to  predict  the  box‐office 
revenues for ten movies. 

Table 5:            Estimation Results for Factors influencing Forecast Error of Movie Exchange 

    Parameter value (standardized)             Model 1            Model 2            Model 3
    Constant (p-value)                             (.008)              (.000)            (.613)
    Price volatility (p-value)                .153 (.199)                           .277 (.012)

    Number of Screens (p-value)              -.289 (.024)        -.319 (.004)

    DV_Action_Thriller (p-value)             -.252 (.078)

    DV_Drama_Romance (p-value)               -.227 (.123)

    DV_Comedy (p-value)                      -.229 (.127)
    R                                                 .171              .102               .077
    F-Value (p-value)                        3.084 (.014)        8.955 (.004)      6.584 (.012)

    N = 81 Movies
    Constant: No value for standardized parameters.
    Measured as coefficient of variation.

5                Summary and Conclusions
The results of the empirical study show that virtual stock markets can provide better 
predictions  than  expert  judgments.  Yet,  there  is  no  guarantee  that  virtual  stock  mar‐

Bernd Skiera, Martin Spann

kets  lead  to  good  results  and  the  empirical  study  shows  that  virtual  stock  markets 
might also provide some rather weak forecasts. The promising result, however, is that 
the  forecasting  error  might  be  further  reduced  by  recognizing  the  factors  that  had  a 
negative  influence  on  forecasting  accuracy  in  previous  virtual  stock  markets.  There‐
fore,  the  repeated  use  of  virtual  stock  markets  allows  to  develop  good  indicators  for 
the expected forecast accuracy and the price volatility might serve as a general indica‐
tor for a VSMʹs predictive validity.  

Virtual  stock  markets  seem  to  provide  promising  opportunities  to  support  the  new 
product development process and the recent publications indicate that the use of vir‐
tual stock markets might provide many benefits for companies. As most of these op‐
portunities have gained very little attention in literature, virtual stock markets might 
be a rich field for further studies in the area of new product development. The avail‐
ability  of  a  flexible  software  solution  (  will  support 
research in this area. 

6           References
Albers,  Sönke,  Claudius  Paul,  and  Matthias  Runte  (1998):  Virtuelle  Communities  als 
Mittel  des Absatzes.  Otto  Beisheim  (ed.):  Distribution  im  Aufbruch.  Bestandsaufnahmen 
und Perspektiven, Munich: Vahlen Verlag. 

Brockhoff,  Klaus  (2000):  Produktinnovation.  Handbuch  Produktmanagement,  Sönke 
Albers and Andreas Herrmann, Eds. 2 ed. Wiesbaden: Gabler Verlag. 

Brockhoff, Klaus (1999): Produktpolitik, 4th ed., Stuttgart et al.: Gustav Fischer. 

Chan, Nicholas T., Ely Dahan, Adlar Kim, Andrew W. Lo, and Tomaso Poggio (2002): 
Securities Trading of Concepts (STOC). Cambridge, MA: Massachusetts Institute of Tech‐

Dahan, Ely and John R. Hauser (2002): The Virtual Customer, Journal of Product Innova‐
tion Management, 19 (5), 332‐53. 

Dahan,  Ely  and  V.  Seenu  Srinivasan  (2000):  The  Predictive  Power  of  Internet‐Based 
Product  Concept  Testing  Using  Visual  Depiction  and  Animation,  Journal  of  Product 
Innovation Management, 17 (3), 99‐109. 

Di Benedetto, Anthony C. (1999): Identifying the Key Success Factors in New Product 
Launch, Journal of Product Innovation Management, 16 (6), 530‐44. 

    Opportunities of Virtual Stock Markets to Support New Product Development

Eimeren, Birgit, Heinz Gerhard, and Beate Frees (2003): ARD/ZDF‐Online‐Studie 2003. 
Internetverbreitung  in  Deutschland:  Unerwartet  hoher  Zuwachs,  Media  Perspektiven 
(8), 338‐58. 

Eliashberg,  Jehoshua,  Jedid‐Jah  Jonker,  Mohanbir  S.  Sawhney,  and  Berend  Wierenga 
(2000): MOVIEMOD: An Implementable Decision‐Support System for Prerelease Mar‐
ket Evaluation of Motion Pictures, Marketing Science, 19 (3), 226‐43. 

Ernst, Holger, Jan Henrik Soll, and Martin Spann (2004): Möglichkeiten der Lead‐User‐
Identifikation  in  Online‐Medien.  Cornelius  Herstatt  and  Jan  Sander  (ed.):  Produktent‐
wicklung mit virtuellen Communities, Wiesbaden: Verlag Gabler. 

Ernst,  O.  and  Henrik  Sattler  (2000):  Validität  multimedialer  Conjoint‐Analysen.  Ein 
empirischer Vergleich alternativer Produktpräsentationsformen, Marketing ZFP, 22 (2), 

European  Information  Technology  Observatory  (2004):  10th  Edition.  Frankfurt  am 

Forsythe, Robert, Forrest Nelson, George R. Neumann, and Jack Wright (1992): Anat‐
omy of an Experimental Political Stock Market, American Economic Review, 82 (5), 1142‐

Forsythe, Robert, Thomas A. Rietz, and Thomas W. Ross (1999): Wishes, Expectations 
and  Actions:  A  Survey  on  Price  Formation  in  Election  Stock  Markets,  Journal  of  Eco‐
nomic Behavior & Organization, 39, 83‐110. 

Grover, Varun and Thomas H. Davenport (2001): General Perspectives on Knowledge 
Management: Fostering a Research Agenda, Journal of Management Information Systems, 
18 (1), 5‐21. 

Hayek, Friedrich August von (1945): The Use of Knowledge in Society, American Eco‐
nomic Review, 35 (4), 519‐30. 

Hulse, C. (2003): Pentagon Prepares a Futures Market on Terror Attacks, The New York 
Times, 29. July 2003. 

Ortner,  Gerhard  (2000):  Aktienmärkte  als  Industrielles  Vorhersagemodell,  Zeitschrift 
für Betriebswirtschaft ‐ Ergänzungsheft, 70 (1), 115‐25. 

Panten,  Gregor,  Claudius  Paul,  and  Matthias  Runte  (2001):  Virtuelle  Communities. 
Sönke Albers  and  Michel  Clement  and  Kay  Peters  and  B.  Skiera  (eds.): Marketing  mit 
Interaktiven  Medien.  Strategien  zum  Markterfolg,  3rd  ed.  Frankfurt  am  Main:  F.A.Z.‐

Plott,  Charles  R.  (2000):  Markets  as  Information  Gathering  Tools,  Southern  Economic 
Journal, 67 (1), 1‐15. 

Bernd Skiera, Martin Spann

Polk,  Charles,  Robin  Hanson,  John  Ledyard,  and  Takashi  Ishikida  (2003):  The  Policy 
Analysis Market: An Electronic Commerce Application of a Combinatorial Information Mar‐
ket, in ACM Conference on Electronic Commerce. San Diego. 

Rayport, Jeffrey and Bernard J. Jaworski (2001): E‐Commerce. New York: McGraw‐Hill 
Higher Education. 

Sawhney,  Mohanbir  S.  and  Jehoshua  Eliashberg  (1996):  A  Parsimonious  Model  for 
Forecasting  Gross  Box‐Office  Revenues  of  Motion  Pictures,  Marketing  Science,  15  (2), 

Smith, Vernon L. (1982): Microeconomic Systems as an Experimental Science, American 
Economic Review, 72 (5), 923‐55. 

Spann,  Martin  (2002):  Virtuelle  Börsen  als  Instrument  zur  Marktforschung.  Wiesbaden: 
Gabler Verlag. 

Spann, Martin, Holger Ernst, Bernd Skiera, and Jan Henrik Soll (2003): Identification of 
Lead  Users  via  Virtual  Stock  Markets.  Frankfurt  am  Main:  Johann  Wolfgang  Goethe‐

Spann, Martin and Bernd Skiera (2003a): Einsatzmöglichkeiten virtueller Börsen in der 
Marktforschung, Zeitschrift für Betriebswirtschaft, zur Veröffentlichung angenommen. 

Spann,  Martin  and  Bernd  Skiera  (2003b):  Internet‐Based  Virtual  Stock  Markets  for 
Business Forecasting, Management Science, 49 (10), 1310‐26. 

Spann,  Martin  and  Bernd  Skiera  (2003c):  Taking  Stock  of  Virtual  Markets.  How  can 
Internet‐Based  Virtual  Stock  Markets  be Applied  for  Business  Forecasting  and  Other 
Forecasting Issues, ORMS Today, 30 (5), 20‐24. 

Toubia, Olivier, Duncan I. Simester, John R. Hauser, and Ely Dahan (2003): Fast Poly‐
hedral Adaptive Conjoint Estimation, Marketing Science, 22 (3), 273‐303. 

Urban, Glen and Eric Von Hippel (1988): Lead User Analyses for the Development of 
New Industrial Products, Management Science, 34 (5), 569‐862. 

Urban, Glen L. and John R. Hauser (1993): Design and Marketing of New Products (1 ed.). 

Wertenbroch, Klaus and Bernd Skiera (2002): Measuring Consumer Willingness to Pay 
at the Point of Purchase, Journal of Marketing Research, 39 (May), 228‐41. 

Wolfers, Justin and Eric Zitzewitz (2004): Prediction Markets, Journal of Economic Per‐
spectives, forthcoming. 


Shared By: