見積もりに関して

XPでは、計画ゲームで、ユーザーが作成したストーリーに対してチームは見積もりを行うのですが、実際タスクまで細分化して考えないと見積もりが出来ないのではと考えています。
何が言いたいかと言うと、ストーリーを見積もる段階でタスク分割及びタスクの見積もりを行い、ストーリーに反映という流れになるのかなって。
例えば、「ユーザーは、カレンダー画面にて、選択した日にちに予約を入れる。」というストーリーだとすると。
　・カレンダー画面を表示する
　・予約登録画面を表示する
　・予約変更画面を表示する
　・予約取り消し画面を表示する
　　　　・・・
と言った感じにタスクに考えて、初めて見積もれるような気がする。
単に自分のスキル不足かも知れないけど・・・
まあ、イテレーションを繰り返すうちに見積もり精度は上がるとは思いますが、最初に出したものと乖離しすぎている場合はどう説明するのでしょうか。