ঘাটাইলে চাল সংগ্রহে মিলারদের সাড়া, ধানে আগ্রহ কম কৃষকদের